Karena memiliki kariernya yang cemerlang dalam bidang militer, membuat Soekarno meminta Jusuf tergabung dalam kabinet. Ia menjabat sebagai Menteri Perindustrian Ringan Indonesia, Menteri Perindustrian Dasar Indonesia, dan Menteri Perdagangan Indonesia.
Saat Soeharto menjabat sebagai Presiden, Jusuf diangkat menjadi Panglima TNI atau dulu masih bernama Panglima Abri atau PANGAB. Ia dikenal sosok yang tegas dalam memimpin ABRI atau TNI.