Pada Oktober 1945, sebuah komite untuk mewadahi organisasi politik islam dibentuk. Komite ini dikepalai oleh Natsir. Pada 7-8 November 1945, di Gedung Madrasah Mu’alimin Muhammadiyah Yogyakarta, digelar Kongres Umat Islam. Kongres yang dihadiri para pemimpin muslim dan perwakilan organisasi muslim ini memutuskan untuk pembentukan satu-satunya partai politik yang menyalurkan aspirasi politik umat Islam. Kongres ini diketuai oleh Sukiman Wirjosandjojo.
Terbentuklah Majelis Syuro Muslimin Indonesia yang dipimpin oleh Sukiman Wirjosandjojo. Majelis Syuro Muslimin Indonesia memiliki tujuan agar ajaran dan hukum Islam terlaksana dalam kehidupan masyarakat dan negara Republik Indonesia.
Anggota Majelis Syuro Muslimin Indonesia ada yang berasal dari orgaisasi dan ada yang perorangan. Dualisme ini didasarkan atas pertimbangan untuk memperbanyak anggota dan mewakili umat. Meski banyak yang memprediksi bahwa Majelis Syuro Muslimin Indonesia akan memenankan pemilu. tapi ada kelemahannya. Organisasi ini menjadi kurang terorganisir.
Majelis Syuro Muslimin Indonesia dibubarkan oleh Presiden Soekarno pada tahun 1960. Disebabkan karena tokoh-tokohnya diduga terlibat dalam gerakan pemberontakan dari dalam Pemerintahan Revolusioner Republik Indonesia (PRRI).
Menanggapi kejadian ini, para pemimpin Islam tidak tinggal diam. Melalui Badan Koordinasi Amal Muslimin (BKAM) para pemimpin Islam pada sidangnya tanggal 7 Mei 1967 membentuk panitia 7 (tujuh). Panitia 7 diketuai oleh tokoh Muhammadiyah yaitu H. Faqih Usman. Akhirnya pemerintah memberikan izin untuk mendirikan sebuah parpol baru, diberi nama Parmusi (Persatuan Muslim Indonesia).
Parmusi disahkan berdirinya melalui Keputusan Presiden No. 70 tanggal 20 Februari 1968. Pertama kali dibentuk Ketua Umumnya adalah Djarnawi Hadikusumo dan Sekretaris Umum Drs.Lukman Harun.