Nama lengkapnya adalah Kiai Haji Muhammad Khalil bin Kiyai Haji Abdul Lathif bin Kiai Hamim bin Kiai Abdul Karim bin Kiai Muharram bin Kiyai Asrar Karamah bin Kiai Abdullah bin Sayid Sulaiman. Nama terakhir dalam silsilahnya, Sayid Sulaiman, adalah cucu Syarif Hidayatullah atau Sunan Gunung Jati, satu dari sembilan Wali Songo.
Kiai Muhammad Khalil dilahirkan pada 11 Jamadilakhir 1235 Hijrah atau 27 Januari 1820 di Kampung Senenan, Desa Kemayoran, Kecamatan Bangkalan, Kabupaten Bangkalan, Pulau Madura, Jawa Timur. Dia berasal dari keluarga ulama. Pendidikan dasar agama diperolehnya langsung daripada keluarga. Menjelang usia dewasa, ia dikirim ke berbagai pondok pesantren untuk menimba ilmu agama.
Sekitar 1850-an, ketika usianya menjelang tiga puluh, Kiai Muhammad Khalil belajar kepada Kiai Muhammad Nur di Pondok Pesantren Langitan, Tuban, Jawa Timur. Dari Langitan, ia pindah ke Pondok Pesantren Cangaan, Bangil, Pasuruan, dan Pondok Pesantren Keboncandi. Selama belajar di pondok-pesantren ini, ia belajar pula kepada Kiai Nur Hasan yang menetap di Sidogiri, 7 kilometer dari Keboncandi.
Saat menjadi santri, Muhammad Khalil telah menghafal beberapa matandan yang ia kuasai dengan baik adalah matan Alfiyah Ibnu Malik yang terdiri dari 1.000 bait mengenai ilmu nahwu. Selain itu, ia adalah seorang hafidz (hafal Alquran) dengan tujuh cara menbacanya (kiraah).
Pada 1276 Hijrah 1859, Kiai Muhammad Khalil melanjutkan pelajarannya ke Makkah. Di sana, ia bersahabat dengan Syekh Nawawi Al-Bantani. Ulama-ulama Melayu di Makkah yang seangkatan dengannya adalah Syekh Nawawi al-Bantani (lahir 1230 Hijrah/1814 Masehi), Syekh Muhammad Zain bin Mustafa al-Fathani (lahir 1233 Hijrah/1817 Masehi), Syekh Abdul Qadir bin Mustafa al-Fathani (lahir 1234 Hijrah/1818 Masehi), dan Kiai Umar bin Muhammad Saleh Semarang.
Ia adalah orang yang tak pernah lelah belajar. Kendati sang guru lebih muda, namun jika secara keilmuan dianggap mumpuni, maka ia akan hormat dan tekun mempelajari ilmu yang diberikan sang guru. Di antara gurunya di Makkah adalah Syekh Ahmad al-Fathani. Usianya hampir seumur anaknya. Namun karena tawaduknya, Kiai Muhammad Khalil menjadi santri ulama asal Patani ini.
Kiai Muhammad Khalil Al-Maduri termasuk generasi pertama mengajar karya Syeikh Ahmad al-Fathani berjudul Tashilu Nailil Amani, yaitu kitab tentang nahwu dalam bahasa Arab, di pondok pesantrennya di Bangkalan. Karya Syekh Ahmad al-Fathani yang tersebut kemudian berpengaruh dalam pengajian ilmu nahwu di Madura dan Jawa sejak itu, bahkan hingga sekarang masih banyak pondok pesantren tradisional di Jawa dan Madura yang mengajarkan kitab itu.
Kiai Muhammad Khalil juga belajar ilmu tarikat kepada beberapa orang ulama tarikat yang terkenal di Mekah pada zaman itu, di antaranya Syekh Ahmad Khatib Sambas. Tarikat Naqsyabandiyah diterimanya dari Sayid Muhammad Shalih az-Zawawi.
Sewaktu berada di Makkah, ia mencari nafkah dengan menyalin risalah-risalah yang diperlukan para pelajar di sana. Itu pula yang mengilhaminya menyususn kaidah-kaidah penulisan huruf Pegion bersama dua ulama lain, yaitu Syekh Nawawi al-Bantani dan Syekh Saleh as-Samarani. Huruf Pegon ialah tulisan Arab yang digunakan untuk tulisan dalam bahasa Jawa, Madura dan Sunda. Huruf Pegon tidak ubahnya tulisan Melayu/Jawi yang digunakan untuk penulisan bahasa Melayu.
Sepulang dari Makkah, ia tersohor sebagai ahli nahwu, fikih, dan tarikat di tanah Jawa. Untuk mengembangkan pengetahuan keislaman yang telah diperolehnya, Kiai Muhammad Khalil selanjutnya mendirikan pondok pesantren di Desa Cengkebuan, sekitar 1 kilometer arah barat laut dari desa kelahirannya. Pondok-pesantren tersebut kemudian diserahkan pimpinannya kepada anak saudaranya, sekaligus adalah menantunya, yaitu Kiai Muntaha. Kiyai Muntaha ini berkahwin dengan anak Kiyai Muhammad Khalil bernamIa sendiri mengasuh pondok pesantren lain di Bangkalan.
Kiai Muhammad Khalil juga pejuang di zamannya. memang, saat pulang ke Tanah Air ia sudah uzur. Yang dilakukannya adalah dengan pengkader para pemuda pejuang di pesantrennya untuk berjuang membela negara. Di antara para muridnya itu adalah KH Hasyim Asy'ari (pendiri Pondok-pesantren Tebuireng, Jombang, dan pengasas Nahdhatul Ulama), KH Abdul Wahhab Hasbullah (pendiri Pondok-pesantren Tambakberas, Jombang); KH Bisri Syansuri (pendiri Pondok Pesantren Denanyar), KH Ma'shum (pendiri Pondok Pesantren Lasem, Rembang), KH Bisri Mustofa (pendiri Pondok-pesantren Rembang), dan KH As'ad Syamsul `Arifin (pengasuh Pondok-pesantren Asembagus, Situbondo).
Kiai Muhammad Khalil al-Maduri wafat dalam usia yang lanjut, 106 tahun, pada 29 Ramadan 1341 Hijrah, bertepatan dengan tanggal 14 Mei 1923 Masehi.
