Mahfud MD memiliki istri bernama Zaizatun Nihayati. Zaizatun ternyata teman kuliah Mahfud MD saat sama-sama kuliah di Universitas Islam Indonesia Yogyakarta. Zaizatun kagum dengan sosok Mahfud karena calon wakil presiden ini adalah sosok yang cerdas. Zaizatun yang akrab disapa Yatie ini menjalani profesi sebagai guru SMA setelah lulus kuliah hukum.
Dalam sebuah acara di program televisi, Mahfud mengatakan bahwa pertemuan pertama dengan istri pada tahun 1978. Saat itu Mahfud diketahui menjadi mahasiswa yang cukup populer di kampus karena aktif mengikuti organisasi di kampus. Mahfud melihat sosok Yatie sebagai mahasiswi yang menarik perhatiannya.
Mahfud menyukai Yatie karena memiliki wajah cantik. Kemudian mereka berkenalan dan saling dekat satu sama lain sampai akhirnya pacaran selama beberapa tahun. Selama pacaran Mahfud sering mengajak Yatie menghadiri seminar-seminar.
Pada saat akan menikahi Yatie, ayah Yatie memberikan ‘ujian’ kepada Mahfud MD seperti bicara menggunakan bahasa Arab hingga bahas soal hukum. Akhirnya ujian dadakan itu pun berhasil dilewati oleh Mahfud. Ia pun akhirnya menikah dengan Yatie pada 2 Oktober 1982. Saat ini usia pernikahan Mahfud dan Yatie sudah 41 tahun.
Dari pernikahan Mahfud MD dan Yatie, pasangan ini menikah dengan dan memiliki tiga orang anak bernama Mohammad Ikhwan Zein, Vina Amalia, dan Royhan Akbar. Anak-anak Mahfud dan Yatie memiliki cerita yang unik. Banyak anak-anak Mahfud yang tidak diketahui oleh masyarakat Indonesia.
Dalam sebuah kesempatan Mahfud memperkenalkan anak-anaknya, salah satunya anak Mahfud MD yang bernama Mohammad Ikhwan Zein. Wawan biasa anak sulung dari tiga bersaudara ini dipanggil ternyata memiliki kehidupan yang unik. Dokter spesialis olahraga ini sejak dulu merahasiakan jika dirinya anak Mahfud MD.