Dunia Rhoma di masa kanak-kanak rupanya bukan hanya dunia musik. Rhoma juga suka adu jotos dengan anak-anak lain. Lingkungan pergaulannya ketika itu tergolong keras. Anak-anak saat itu cenderung mengelompok dalam geng, dan satu geng dengan geng lainnya saling bermusuhan, atau setidaknya saling bersaing. Dengan demikian, perkelahian antar geng sering tak terhindarkan.
Di Bukitduri tempat tinggalnya, hampir setiap kampung di daerah itu terdapat geng (kelompok anak muda). Di Bukitduri ada BBC (Bukit Duri Boys Club), di Kenari ada Kenari Boys, Cobra Boys, dan sebagainya. Dari Bukitduri Puteran, dan dari Manggarai banyak anak muda yang bergabung dengan Geng Cobra. Geng-geng ini saling bermusuhan sehingga keributan selalu hampir terjadi setiap kali mereka bertemu.
Satu hal yang cukup menonjol pada diri Rhoma adalah teman-temannya hampir selalu menjadikan Rhoma sebagai pemimpin. Tentu saja, bila gengnya bentrok dengan geng lain, Rhomalah yang diharapkan tampil paling depan, untuk berkelahi. Meskipun pernah menang beberapa kali, Rhoma juga sering mengalami babak belur, bahkan pernah luka cukup parah karena dikeroyok 15 anak di daerah Megaria.
Ketika ia masuk SMP, tempat-tempat berlatih silat semakin marak. Tetapi, bagi Rhoma, ilmu bela diri nasional ini tidaklah asing, karena sejak kecil ia sudah mendapat latihan dari ayahnya dan beberapa guru silat lainnya.
