Banyak cerita yang berkembang di masyarakat, mengapa kampung tersebut bernama Kampung Siluman.
Salah satu cerita yang paling sohor adalah cerita tentang tersesatnya para serdadu Belanda di dalam hutan. Konon mereka hendak mengambil upeti dari Ciamis, dengan melewati Cisaga.
Mereka merasa bahagia ketika diperjalanan melihat perkampungan yang ramai, tapi ternyata yang mereka lihat hanya ilusi. Sebenarnya kawasan itu adalah hutan belantara.
Menurut cerita, daerah yang dikunjungi para serdadu tersebut adalah kampung atau tempat tinggal para siluman. Mahluk yang tidak kasat mata dan bisa membuat linglung manusia.
Ada pula versi lain, yang menceritakan jika daerah tersebut merupakan awalnya kawasan kerajaan.
Hal tersebut dibuktikan dengan ditemukannya patilasan di kawasa hutan lindung Pulo Majeti. Meneurut penelitian, kawasan benda budaya tersebut merupakan situs tertua di Banjar.
Kerajaan tersebut diminta untuk tunduk kepada Kerajaan Galuh, tapi mereka tidak mau dan memilih silem atau nyilem yang artinya musnah.
Bahkan ada yang percaya, kerajaan tersebut sekarang berada di dunia siluman.