Masjid Agung dibangun oleh Sultan Mahmud Badaruddin I Jaya Wikrama, berlokasi di dekat Bundaran Air Mancur sebagai titik nol kota Palembang. Arsitektur masjid ini dipengaruhi oleh Tiongkok, Eropa dan Palembang. Setiap Jumat, halaman masjid dipenuhi oleh pedagang yang menjajakan berbagai dagangan termasuk makanan khas Sumatera Selatan yang jarang ditemui sehari-hari.
Bangunan utama masjid dibangun pada 1748, Lantai dan atap dipengaruhi oleh gaya arsitektur Tiongkok sementara bangunan utama dilengkapi dengan ornamen tradisional Palembang. Masjid ini mengalami beberapa kali renovasi dan memiliki dua menara masjid.