MTs Alihad salaman merupakan peleburan dari Pendidikan Guru Agama Pertama (PGAP) Al-Jihad, maka apa bila kita membicarakan tentang sejarah berdirinya MTs Al-Jihad tidak terlepas dari membicarakan tentang sejarah berdirinya PGAP Al-Jihad salaman. PGAP Al-Jihad Salaman berdiri pada tanggal 22 Agustus 1966 hari rabu pon, atas prakarsa dan kesepakatan para alim ulama, kepala desa dan tokoh masyarakat setempat.
Pada musyawarah pertama, membentuk panitia untuk mendirikan PGAP Al Jihad.
Tabel Susunan Panitia Pendiri MTs Al-Jihad, sebagai berikut:
| No | Fungsi | Nama | Jabatan | Alamat |
| 1 | Penasehat | Djaetun | Kepala Desa | Sidomulyo |
| 2 | Ketua I | Yotowardoyo | Kepala Desa | Tanjunganom |
| 3 | Ketua II | Sastroharjo | Kepala Desa | Banjarharjo |
| 4 | Sekretaris I | Siswohartoyo | Kepala Desa | Sidosari |
| 5 | Sekretaris II | Somo Atmojo | Kepala Desa | Jebengsari |
| 6 | Bendahara I | Partosuwito | Kepala Desa | Kebonrejo |
| 7 | Bendahara II | Harjowirdi | Kepala Desa | Purwosari |
| 8 | Pengamat | Pawiro Atmo | Kepala Desa | Kalisari |
| 9 | Pembantu | Tjokro A | Kepala Desa | Ngampeldento |
| 10 | Pembantu | Djamhari | Kamituwo | Tanjunganom |
| 11 | Pembantu | Niti Sujono | Kamituwo | Sidosari |
| 12 | Pembantu | Ky. Faqihudin | Ulama | Banjarharjo |
| 13 | Pembantu | Ky. Zarkasi | Ulama | Jebengsari |
| 14 | Pengamat | Ky. Zarkasi | Ulama | Purwosari |
| 15 | Pembantu | Siswoto | Ulama | Ngampeldento |
| 16 | Pembantu | Gunadi | Pedagang | Kebonrejo |
| 17 | Pembantu | Nurhaji | Pedagang | Sidomulyo |
Musyawarah selanjutnya memutuskan tentang nama dan tujuan dari pendirian gedung tersebut.
Nama sekolah yang disetujui adalah Al-Jihad, karena pada waktu itu berdirinya PGAP bersamaan dengan jihad penumpasan G 30 S/PKI, maka diambil nama Jihad (Al-Jihad).
Pengurus ataupun panitia adalah seorang muslim yang selalu mengembangkan amanat umat, begitu juga Islam menghendaki agar pemeluk-pemeluknya mengembangkan, mempertahankan dan membuat kaderisasi demi kejayaan agama Islam.
Mengenai masalah gedung untuk melancarkan terkumpulnya dana yang diperlukan maka disusunlah pembagian tugas pengumpul dana. Adapun pembagiannya adalah sebagai berikut:
Pembanguan gedung dimulai tanggal 1 April 1966. Setelah 2 tahun pembagunan berjalan, gedung tersebut belum dapat diselesaikan. Kemudian diserahkan kepada pengurus sekolah yang ada pada waktu itu. Pengurus sekolah tersebut antara lain sebagai berikut:
| Penasehat / Ketua | : Bapak H. Djamil Fatah |
| Wakil I | : Bapak Jarji Zaedun |
| Wakil II | : Bapak T. Soewarno |
| Sekretaris I | : Bapak Samhari |
| Sekretaris II | : Bapak Hardi |
| Bendahara I | : Bapak Muhtarom |
| Bendahara II | : Bapak Achmad Suhadi |
| Pembantu | : Bapak Zarkasi |
Pendaftaran murid pertama dimulai pada tanggal 1 januari 1967. Pada waktu itu ruang belajar masih menempati rumah bapak H Djamil Fatah yang berlangsung selama 3 tahun, lalu pindah ke bagunan sementara yang didirikan di lapangan dekat gedung MTs yang ada sekarang, yang terdiri dari lima kelas. Setelah kurang lebih 4 tahun bagunan sementara itu ditempati, kemudian pindah ke tanah penduduk dan ditempati selama dua tahun. Setelah bangunan PGAP selesai, maka selanjutnya pindah kebangunan tersebut hingga sekarang.
Pada tahun 1975 PGAP Al Jihad membuka program Pendidikan Guru Agama Agama /PGA 6 tahun sampai tahun 1978 karena PGA 4 tahun /PGA 6 tahun sampai tahun 1978 karena PGA 4 tahun dan PGA 6 tahun Al-Jihad mengalami perubahan baru berdasarkan keputusan menteri agama no 19 tahun 1978 yang isinya bahwa PGA 6 tahun dibagi menjadi dua, yaitu:
Dengan demikian sejak tahun 1978 PGA 4 tahun dan PGA 6 tahun Al-Jihad Salaman berubah pola. PGA 4 tahun menjadi MTs Al Jihad, sedangkan PGA 6 tahun Al-Jihad ditarik ke PGAN Magelang, sehingga pada tahun ini di Madrasah Al-Jihad hanya ada MTs Al Jihad saja.