Sukses di lapangan tenis, Federer juga bisa membangun keluarga yang harmonis. Ia memiliki istri bernama Mirka Vavrinec yang juga mantan petenis. Mereka menikah pada 2009 silam. Federer dan Mirka dikaruniai dua pasang anak kembar, jadi mereka punya 4 orang anak., masing masing lahir pada 2009 dan 2014.
Anak-anak Federer dan Mirka adalah Charlene Riva Federer, Myla Rose Federer, Leo Federer, dan Lenny Federer. Keempat anaknya adalah kembar identik dan membuat Roger mengalami kesulitan membedakan para buah hatinya.
Federer dan Mirka sudah mengajar olahraga tenis kepada anak-anaknya sejak kecil. Bisa jadi salah satu dari keempat anak Federer akan mencetak sejarah mengikuti jejak sang ayah dengan prestasi membanggakan sepanjang karir dalam dunia tenis.