Kejahatan besar pasangan ini adalah penculikan taipan minyak asal Oklahoma, Charles F. Urschel. Kejahatan ini adalah salah satu yang paling terkenal yang dilakukan pasangan bandit ini.
22 Juli 1933, pasangan bandit ini masuk ke dalam rumah Urschel. Mereka kemudian menangkap si raja minyak dengan harapan bisa mendapat uang tebusan yang banyak. Kelly sendiri menginginkan uang sebesar 200 ribu dollar AS, jumlah itu sangat besar kala itu.
Sebenernya, Kelly udah berusaha untuk merencanakan penculikan yang rumit. Kemudian Kelly dan istrinya pun mendapatkan uang tebusan itu dan mengambilnya.
Tapi sayangnya, polisi lebih cerdik dari Kelly. Begitu juga dengan si raja minyak Urschel yang lebih cerdas lagi. Mereka menjebak Kelly lewat uang yang dibawa Kelly itu.
Sebelum uang itu dibawa kabur Kelly dan istrinya, ternyata polisi udah mencatat semua nomor seri di lemabaran uang kertas tersebut. Tujuannya adalah untuk melacak persebaran uang tersebut dari setiap transaksi.
Polisi juga bisa mendapat keterangan lebih lanjut siapa yang menggunakan uang itu.
Sementara Urschel yang gak kalah cerdik ini yakin bahwa dia terlibat dalam penculikan. Kepada polisi, Urschel bercerita kalo dia sempat disekap dan matanya ditutup. Tapi Urschel tau kalo dia disekap di daerah Paradise, Texas.
Dua bulan kemudian, September 1933, Kelly dan Kathryn ditangkap di rumah kecilnya di Tennessee. Pasangan bandit ini akhirnya dijatuhi hukuman seumur hidup.
Pasangan ini kemudian ditahan di penjara Alcatraz dan menghabiskan waktu hukuman penjaranya di sana. Machine Gun Kelly pun dikenal sebagai penjahat besar AS yang brutal karena salah memilih pasangan hidup.
Istrinya, Kathryn, sungguh telah berhasil membuat suaminya sebagai anak didiknya dan berubah menjadi monster yang gak kenal ampun.