El sultán de la dinastía selyúcida, Ahmad Sanjar, construyó el primer santuario conocido en este lugar. Fue destruida o tapado debajo de un terraplén de tierra durante la invasión de Gengis Kan por alrededor de 1220. En el siglo XV, el sultán timurí Husayn Bayqara construyó aquí la actual Mezquita Azul. Es, con mucho, el monumento más importante de Mazar-i-Sharif y se cree que el nombre de la ciudad (Santuario Noble, Tumba de Alí Sharif) se origina en este santuario.

Un plano de la ubicación realizado en la década de 1910 muestra que anteriormente había un recinto amurallado más pequeño en la mezquita, que fue demolido para crear terrenos de parque más tarde, aunque los portales a este recinto todavía permanecen como puertas de entrada al santuario.[1]​

A lo largo de los años, se agregaron tumbas de diferentes dimensiones para varios líderes políticos y religiosos afganos, lo que ha llevado al desarrollo de sus actuales dimensiones irregulares. Estos incluyen la tumba con cúpula cuadrada del emir Dost Mohammed Khan, Wazir Akbar Khan y una estructura similar para el emir Sher Ali Khan y su familia.[1]​

Según una leyenda local, Alí fue enterrado en el lugar del santuario. Según los informes, Alí fue traído aquí en un camello blanco para salvar sus restos de la profanación de sus enemigos. Sin embargo, la mayoría de los musulmanes consideran que Alí está enterrado en la mezquita del Imán Alí, en Náyaf, Irak. Alternativamente, el personaje enterrado en el santuario puede haber sido anterior al Islam. Identificar el santuario con Alí probablemente podría haber sido un mito para garantizar que la tumba sea protegida y honrada por el establecimiento islámico.[2]​ Otra leyenda local afirma que toda la mezquita fue enterrada una vez para protegerla de los ejércitos mongoles, aunque no se han encontrado pruebas que respalden esta afirmación.