Türbede, Peygamber Efendimiz (S.A.V.) sancaktarı Muaz Bin Cebel’in oğlu Abdurrahman Gazi yatmaktadır. Abdurrahman Gazi, Hz. Ömer döneminde, İyaz Bin Ganem komutasındaki İslam ordusu ile Doğu Anadolu’ya sefere çıkmıştır.Ahlat’ın ele geçirilmesi sırasında şehit düşer ve şehit olduğu yerde defnedilir. Defin edildiği yer tam olarak bilinmemekle birlikte Osmanlı Devleti dönemindeki kayıtlarda bugün türbenin inşa edildiği yer “Şehitler Tepesi”, yada “Şehitler Zaviyesi” olarak anıldığı için türbenin yapıldığı yere yakın bir yerde medfun olduğu düşünülmektedir.

Ayrıca meşhur tarihçi Vakidi’nin “Fitunu Şam” adlı eserinin 2. Cildinin 109. Sayfasında da Abdurrahman Gazi’nin Ahlat’ta yapılan savaşta “Gazi” ünvanı aldığını ve bu gün türbe yapılan yere yakın bir yerlerde medfun olduğu yazılıdır. Abdurrahman Gazi türbesi, 1974 yılında Ahlat’lı taş ustası Tahsin KALENDER tarafından Ahlat kümbet mimarisine uygun bir şekilde inşa edilmiştir. Profilli ikinci bir kuşak bulunmaktadır.