Salah satu dari empat anaknya itu adalah Habib Aluy yang tinggal di Sangir, dan yang lainnya tinggal di Lombok sama di Bali.
“Habib Aluy ini kemudian punya anak yang dinamai Habib Abdurrahman, seperti nama kakeknya. Anak dari Habib Abdurrahman inilah abi (ayah-red) saya,” kata Habib Bahar bin Smith.
Sementara dari pihak ibu, kata Habib Bahar, berasal dari Suku Bajo dan Suku Bugis. “Makanya dalam tubuh saya ini mengalir berbagai suku, ada darah Bugis, ada darah Bajo, ada darah Sangir, Flores, Ternate,” katanya.
Mendengar penjelasan itu, Karni Ilyas spontan bertanya, asal usul nama “Bin Smith” yang saat ini digunakan oleh Habib Bahar.
“Lantas, nama bin Smith-nya itu dari mana,” tanya Karni Ilyas, penasaran.
Habib lantas menjelaskan bahwa nama keturunan yang sesungguhnya adalah Sumait. “Jadi sebenarnya Bin Sumait, yaitu sin, mim, ya, tha, Sumait. Cuma karena orang Indonesia ini gak mau ribet, akhirnya diambil gampangnya, jadi Smith,” kata Habib Bahar.
Karni Ilyas pun tersenyum. “Saya pikir tadi, ada darah Inggris juga ini,” katanya.
Memang diakuinya, banyak juga orang yang menduga bahwa dirinya berasa dari Inggris. “Tapi enggak. Nama Smith itu hanya sebutan saja, yang asalnya dari Sumait,” katanya.