Masjid Cheng Ho merupakan masjid yang relatif baru dan didirikan oleh Persatuan Islam Tionghoa Indonesia Sumatera Selatan atau PITI. Dinamakan Cheng Ho untuk menghormati Laksamana Cheng Ho yang telah berjasa menyebarkan agama Islam ke Indonesia. Berdasarkan catatan sejarah, selama perjalanannya Laksamana Cheng Ho telah berkunjung sebanyak tujuh kali ke Palembang.
Desain masjid Cheng Ho memadukan unsur budaya lokal Palembang dengan nuansa Tionghoa dan Arab. Menara di kedua sisi masjid meniru kelenteng di Tiongkok dan dicat dengan warna merah dan hijau giok.