Menurut sejarah, masjid tersebut dibangun pada tahun 1882, ketika Ciamis masih bernama Galuh dan dipimpin oleh Bupati Rd. A. A. Koesoemahdiningrat. Dan baru dapat diselesaikan pada tahun 1902 dibawah kepemimpinan Bupati Rd. A. A. Koesoemah Soebrata, yang tak lain adalah putra dari bupati sebelumnya.
Bentuk awal Masjid Agung Ciamis mengacu pada bentuk khas joglo, yakni atap berbentuk kerucut dengan tiga undakan bertingkat. Yang merupakan ciri khas masjid pada saat itu.
Hal tersebut tak lepas dari pengaruh Kerajaan Mataram, yang bercorak Islam-Jawa.
Pangeran Radjab merupakan arsitek pembangunan masjid tersebut, dibantu oleh ahli bangunan Alhari Joedanagara.
Bentuk Masjid Agung Ciamis yang dapat dilihat saat ini merupakan hasil lima kali renovasi yang signifikan. Renovasi pertama dilakukan pada tahun 1902, dengan penambahan serambi dan memperluas halaman, sementara bentuk masjid tidak diubah.
Renovasi kedua terjadi pada tahun 1958 pada masa pemerintahan Bupati Rd.Yoesoef Suriasaputra, dengan pelaksana lapangan H. Juwinta. Terjadi beberapa perubahan yang mencolok.
Seperti perubahan bentuk kubah yang awalnya kerucut dengan material kayu, menjadi lengkungan berbahan seng.
Di bagian depan kanan dan kiri masjid dibuat menara berbentuk bulat yang juga terbuat dari seng.
Renovasi ketika dikerjakan pada tahun 1982 pada masa kepemimpinan Bupati Drs. H. Soejoed dan baru selesai pada masa pemerintahan Bupati H. Momon Gandhasasmita, S.H, yang menjadi renovasi tahap 4 pada tahun 1988.