Dilahirkan di Omben, Sampang, Jawa Timur dengan nama lahir Mohammad Mahfud yang merupakan nama pemberian sang ayah. Pada saat menduduki Pendidikan Guru Agama Negeri, setingkat dengan sekolah menengah pertama atau madrasah sanawiah di Pamekasan, terdapat lebih dari satu siswa yang memiliki nama yang sama dengan Mahfud. Sehingga, ketika nama Mahfud disebutkan oleh gurunya, kedua-duanya mengacungkan tangan. Salah satu guru di sekolahnya yang bernama Asbun Nawawi akhirnya menyematkan kedua pemilik nama Mahfud ini dengan sebutan "Mahfud A" dan dirinya, yakni "Mahfud B". Tujuannya untuk membedakan dirinya dengan murid-murid lain yang bernama Mahfud di sekolahnya.

Beberapa hari setelahnya, guru-guru di sekolahnya tersebut mencanangkan agar penyebutan kedua pemilik nama Mahfud ini menggunakan nama ayah di belakang namanya. "Mahfud A" diubah namanya menjadi Mahfud Musyaffa dan "Mahfud B" menjadi Mahfud Mahmodin. Seiring berjalannya waktu, ayahnya, Mahmodin mengganti nama menjadi Emmo Prawirotroemo ketika diangkat menjadi pegawai negeri sipil. Meski demikian, penamaan Mahmodin di belakang nama Mahfud tetap melekat. Pada akhirnya, Nama "Mahmodin" diakronimkan menjadi "MD".

Dia mengenyam pendidikan dasarnya di sekolah dasar negeri dan juga mengikuti pendidikan keagamaan di madrasah ibtidaiah milik Pondok Pesantren Al-Mardhiyyah. Setelahnya, ia dipindahkan ke Pondok Pesantren Somber Lagah pimpinan Kyai Mardhiyyan di Tagangser Laok. Saat itu, Mahfud duduk di bangku kelas lima sekolah dasar. Lalu, Mahfud melanjutkan jenjang sekolah menengah pertama di Pendidikan Guru Agama Negeri selama empat tahun dan bersekolah di Pendidikan Hakim Islam Negeri atau PHIN—setara dengan sekolah menengah atas atau madrasah aliah di Yogyakarta. PHIN merupakan sekolah islam berbasis kejuruan terkait hukum dan tata negara.

Setelah lulus dari PHIN, Mahfud MD berkuliah di dua perguruan tinggi, yakni di Universitas Gajah Mada (UGM) jurusan Sastra Arab, dan Universitas Islam Indonesia (UII) jurusan Hukum Tata Negara. Mahfud lulus pada tahun 1983. Setelah mendapatkan gelar sarjana, ia kemudian mengajar di almamaternya dan meneruskan kuliah program Pasca Sarjana S-2 bidang Ilmu Politik di UGM. Lalu melanjutkan pendidikan Doktor S-3, di bidang Ilmu Hukum Tata Negara pada program Pasca Sarjana UGM, dan lulus tahun 1993. Dan dinobatkan menjadi Guru Besar bidang Politik Hukum pada tahun 2000 di usia 43 tahun di Universitas Islam Indonesia.

Di masa jabatannya sebagai Menteri Koordinator Bidang Politik, Hukum, dan Keamanan, Mahfud ditugaskan oleh presiden Joko Widodo untuk menduduki jabatan Menteri Dalam Negeri (ad interim) ketika menteri definitif, Tito Karnavian melakukan diplomasi ke Singapura pada 2020. Kemudian, ia juga didapuk menjadi Menteri Pendayagunaan Aparatur Negara dan Reformasi Birokrasi (ad interim) sewaktu menteri definitif, Tjahjo Kumolo mengalami sakit hingga akhirnya meninggal dunia. Ia kembali menjabat jabatan yang sama pada 16 Juli 2022 sebagai pelaksana tugas menteri.