In de Romeinse tijd stond de stad zelf bekend als Mardia, een verbastering uit het Neo-Aramees die zich vertaalt naar "fort". In het Aramees wordt de stad Marde genoemd; Margdis in het Grieks en Mardin onder de Arabieren. De stad heeft haar rijke geschiedenis te danken aan verschillende volkeren waaronder de Hurrieten, Arameeërs, Armeniërs, Amorieten en Babyloniërs.[1][2][3][4]

Akkadische inscripties uit het begin van de 13e eeuw voor Christus, afkomstig uit de stad Shibaniba (het huidige Tell Billa), noemen Mardin als deel van de Aramese stadstaat Bit-Zamani onder leiding van Ammi-Ba’al. In de 6e eeuw voor Christus behoorde Mardin tot het Achaemenidische rijk; in 330 voor Christus werd het veroverd door Alexander de Grote. Vervolgens weten de Arameeërs tussen 150 voor Christus en 250 na Christus de stad wederom te veroveren en maakte het deel uit van het koninkrijk Osroene, geregeerd door de Abgar-dynastie. De regio waar Mardin in lag, werd na de verovering door het Romeinse Rijk gevormd tot provincie genaamd “Mesopotamië”. Volgens latere tradities zouden de inwoners al in de 1e eeuw door de apostelen Thomas en Thaddeus tot het christendom zijn bekeerd.

Op 15 augustus 1915 werden de Aramese en Armeense bewoners van de stad het slachtoffer van de Armeense Genocide. De stad die toentertijd een inwoneraantal had van ±35.000, onder wie 12.000 Arameeërs en 6.000 Armeniërs, werd bijna volledig van christenen gezuiverd. Van 1850 tot aan de genocide bevond de zetel van het hoofd van de Syrisch-Katholieke Kerk zich in Mardin. Na de genocide werd het gebouw van de Patriarchaatkerk door het leger gebruikt tot 1988, toen het Ministerie van Cultuur het gebouw er in 1995 het Mardin Museum bouwde. De zetel van de Syrisch-orthodoxe patriarch die sinds 1293 resideerde in Mardin werd na 800 jaar in 1924 verplaatst naar Homs dat onder het Frans Mandaat Syrië viel.[5]

Isaac Armalet een Syrisch-Katholieke geleerde werd tijdens de genocide ook gearresteerd door het Ottomaanse leger, maar later vrijgelaten. Tijdens de Eerste Wereldoorlog verbleef hij in Mardin, waar hij getuige was van de Aramese genocide, die hij beschrijft in zijn boek The Utmost of Christian Calamities.

Het eerste bloedbad werd gemeld in het begin van maart [1915] nabij Mardin. (…) Een paar dagen later werden in Mardin mannen van alle christelijke denominaties; Armeniërs en Syriërs, op bevel van de gouverneur op het stadsplein verzameld en vervolgens naar het 'kasteel' geleid, zijn woonplaats. Zonder een precieze datum te geven, vermeldt pater Armalet dat ze tijdens deze zielige stoet door de kronkelende straten van de stad werden bespuugd en met stenen bekogeld werden door moslimvrouwen en -kinderen.(...) te midden van het bloeddorstige geschreeuw van de bevolking: 'Je gaat sterven zoals jullie Christus!'[6]