Se dice que este caravasar fue construido ex novo o bien sobre un antiguo monasterio nestoriano construido en el siglo IX o en el X, cuando comerciantes cristianos nestorianos propagaban su religión a lo largo de la Ruta de la Seda hasta llegar a donde habitan los uigures, en la actual Sinkiang, que más tarde sería erradicada en Asia Central bajo el dominio de Tamerlán y de la dinastía timúrida en el siglo XIV. Otra versión dice que originalmente fue un monasterio budista.

A causa de su cercanía a un ramal de la Ruta de la Seda, el lugar fue usado como caravasar tras la decadencia del monasterio. Era un lugar de parada y refugio contra la tormentas de nieve y los salteadores de caminos para caravanas y viajeros que hacían la ruta entre Kasgar (Sinkiang) y el lago Issyk-Kul en el valle de Ferganá.

Modernamente, en 1984, Tash Rabat fue renovado, pasando a ser una atracción turística. Cerca, en un campamento de yurtas vecino, se puede pernoctar.