Di Jakarta pada bulan Desember 1955, berdirilah Ikatan Mahasiswa Nahdlatul Ulama (IMANU) yang dipelopori oleh Wa’il Harits Sugianto.Sedangkan di Surakarta berdiri KMNU (Keluarga Mahasiswa Nahdhatul Ulama) yang dipelopori oleh Mustahal Ahmad. Namun keberadaan kedua organisasi mahasiswa tersebut tidak direstui bahkan ditentang oleh Pimpinan Pusat IPNU dan PBNU dengan alasan IPNU baru saja berdiri dua tahun sebelumnya yakni tanggal 24 Februari 1954 di Semarang. IPNU punya kekhawatiran jika IMANU dan KMNU akan memperlemah eksistensi IPNU. Gagasan pendirian organisasi mahasiswa NU muncul kembali pada Muktamar II IPNU di Pekalongan (1-5 Januari 1957). Gagasan ini pun kembali ditentang karena dianggap akan menjadi pesaing bagi IPNU. Sebagai langkah kompromis atas pertentangan tersebut, maka pada muktamar III IPNU di Cirebon (27-31 Desember 1958) dibentuk Departemen Perguruan Tinggi IPNU yang diketuai oleh Isma’il Makki (Yogyakarta). Namun dalam perjalanannya antara IPNU dan Departemen PT-nya selalu terjadi ketimpangan dalam pelaksanaan program organisasi. Hal ini disebabkan oleh perbedaan cara pandang yang diterapkan oleh mahasiswa dan dengan pelajar yang menjadi pimpinan pusat IPNU. Disamping itu para mahasiswa pun tidak bebas dalam melakukan sikap politik karena selalu diawasi oleh PP IPNU. Oleh karena itu gagasan legalisasi organisasi mahsiswa NU senantisa muncul dan mencapai puncaknya pada konferensi besar (KONBES) IPNU I di Kaliurang pada tanggal 14-17 Maret 1960. Dari forum ini kemudian kemudian muncul keputusan perlunya mendirikan organisasi mahasiswa NU secara khusus di perguruan tinggi. Selain merumuskan pendirian organ mahasiswa, KONBES Kaliurang juga menghasilkan keputusan penunjukan tim perumus pendirian organisasi yang terdiri dari 13 tokoh mahasiswa NU. Mereka adalah:
- A. Khalid Mawardi (Jakarta)
- M. Said Budairy (Jakarta)
- M. Sobich Ubaid (Jakarta)
- Makmun Syukri (Bandung)
- Hilman (Bandung)
- Ismail Makki (Yogyakarta)
- Munsif Nakhrowi (Yogyakarta)
- Nuril Huda Suaidi (Surakarta)
- Laily Mansyur (Surakarta)
- Abd. Wahhab Jaelani (Semarang)
- Hizbulloh Huda (Surabaya)
- M. Kholid Narbuko (Malang)
- Ahmad Hussein (Makassar)
Keputusan lainnya adalah tiga mahasiswa yaitu Hizbulloh Huda, M. Said Budairy, dan Makmun Syukri untuk sowan ke Ketua Umum PBNU kala itu, KH. Idham Kholid. Pada tanggal 14-16 April 1960 diadakan musyawarah mahasiswa NU yang bertempat di Sekolah Mu’amalat NU Wonokromo, Surabaya. Peserta musyawarah adalah perwakilan mahasiswa NU dari Jakarta, Bandung, Semarang,Surakarta, Yogyakarta, Surabaya, dan Makassar, serta perwakilan senat Perguruan Tinggi yang bernaung dibawah NU. Pada saat tu diperdebatkan nama organisasi yang akan didirikan. Dari Yogyakarta mengusulkan nama Himpunan atau Perhimpunan Mahasiswa Sunny. Dari Bandung dan Surakarta mengusulkan nama PMII. Selanjutnya nama PMII yang menjadi kesepakatan. Namun kemudian kembali dipersoalkan kepanjangan dari ‘P’ apakah perhimpunan atau persatuan. Akhirnya disepakati huruf “P” merupakan singkatan dari Pergerakan sehingga PMII menjadi “Pergerakan Mahasiswa Islam Indonesia”. Musyawarah juga menghasilkan susunan Anggaran Dasar/Anggaran Rumah Tangga organisasi serta memilih dan menetapkan sahabat Mahbub Djunaidi sebagai ketua umum, M.Khalid Mawardi sebagai wakil ketua, dan M. Said Budairy sebagai sekretaris umum. Ketiga orang tersebut diberi amanat dan wewenang untuk menyusun kelengkapan kepengurusan PB PMII. Adapun PMII dideklarasikan secara resmi pada tanggal 17 April 1960 masehi atau bertepatan dengan tanggal 17 Syawwal 1379 Hijriyah. Independensi PMII Pada awal berdirinya PMII sepenuhnya berada di bawah naungan NU. PMII terikat dengan segala garis kebijaksanaan partai induknya, NU. PMII merupakan perpanjangan tangan NU, baik secara struktural maupun fungsional. Selanjuttnya sejak dasawarsa 70-an, ketika rezim neo-fasis Orde Baru mulai mengkerdilkan fungsi partai politik, sekaligus juga penyederhanaan partai politik secara kuantitas, dan issue back to campus serta organisasi- organisasi profesi kepemudaan mulai diperkenalkan melalui kebijakan NKK/BKK, maka PMII menuntut adanya pemikiran realistis. 14 Juli 1971 melalui Mubes di Murnajati, PMII mencanangkan independensi, terlepas dari organisasi manapun (terkenal dengan Deklarasi Murnajati). Kemudian pada kongres tahun 1973 di Ciloto, Jawa Barat, diwujudkanlah Manifest Independensi PMII. Namun, betapapun PMII mandiri, ideologi PMII tidak lepas dari faham Ahlussunnah wal Jamaah yang merupakan ciri khas NU. Ini berarti secara kultural- ideologis, PMII dengan NU tidak bisa dilepaskan. Ahlussunnah wal Jamaah merupakan benang merah antara PMII dengan NU. Dengan Aswaja PMII membedakan diri dengan organisasi lain. Keterpisahan PMII dari NU pada perkembangan terakhir ini lebih tampak hanya secara organisatoris formal saja. Sebab kenyataannya, keterpautan moral, kesamaan background, pada hakekat keduanya tidak bisa dipisahkan.
