Masjid ini dikenal sebagai Masjid Kiai Muara Ogan, atau sering pula disebut sebagai Masjid Ki Merogan. Penamaannya berdasarkan nama ulama yang membangunnya, yaitu Mgs. H. Abdul Hamid bin Mahmud, yang kemudian lebih dikenal sebagai Kiai Muara Ogan. Nama julukan ini didasarkan pada lokasi bermukim, berusaha, sekaligus berdakwah sang ulama. Pada masa lalu, lokasi masjid ini dikenal sebagai Kampung Karangberahi.
Pada saat didirikan, sebagaimana umumnya lahan tepian sungai di kawasan Palembang, lokasinya berupa rawa. Karena itu, dilakukan penimbunan sehingga lokasinya lebih tinggi daripada lahan sekitarnya. Masjid dibangun sekitar tahun 1871 M dan diwakafkan pada 6 Syawal 1310 H atau 23 April 1893 M. Masjid ini terletak di muara sungai, yaitu sekitar 13 meter dari Sungai Musi dan 75 meter sebelah selatan sungai Ogan. Ukuran asli masjid ini sebelum dilakukan renovasi dan perluasan adalah 18,8 meter x 19,4 meter. Masjid ini beratap tumpang dua yang ditopang empat saka guru setinggi 6 meter berbentuk persegi delapan berukuran 0,5 meter. Keempat tiang utama ini dikelilingi dua belas tiang penopang setinggi 4 meter dan lebar 0,30 m.
Kiai Muara Ogan dikenal sebagai sosok ulama kharismatik. Di samping ajarannya dalam ilmu keislaman, masyarakat juga memandangnya sebagai ulama yang penuh karomah. Banyak kisah, yang dikaitkan dengan karomah Kiai Muara Ogan. Kiai Muara Ogan juga berdakwah ke daerah luar Palembang. Dakwah yang diiringi dengan usaha dagang itu memberi pengaruh besar ke kawasan Iliran Palembang. Di beberapa daerah, ulama ini juga mendirikan masjid untuk mendukung syiar Islamnya. Ulama yang lahir pada tahun 1811 ini, wafat pada 17 Rajab 1319 H atau 31 Oktober 1901.