Dia tinggal di sebuah gang di Tanah Tinggi, Jakarta Pusat. Rumahnya sanat sederhana, gak mencerminkan jabatan beliau. Lalu dia memutuskan pindah ke Gang Toapekong, dengan rumah yang gak kalah sederhana. Di ruang depan hanya ada meja serta kursi, gak ada perkakas lainnya lagi.
Saking sulitnya hidup, dia kembali pindah menumpang di Jatinegara. Di dalam sebuah kamar yang dihuni beberapa orang. Lalu pindah lagi ke Bogor. Hingga akhir hidupnya Agus Slaim tidak pernah mencicipi kekayaan.