Il tempio fu consacrato al dio Shiva nel 967 d.C. ed è uno dei rari templi khmer a non essere stato costruito per volere di un re, ma da un uomo di nome Yajnyavahara, consigliere del re Rajendravarman e insegnante di Jayavarman V. Un altro caso, sempre nella stessa area geografica, è il tempio buddhista di Bat Chum, costruito nel 960 d.C. da Kavindrarimathana, potente ministro e architetto di Rajendravarman. Secondo le iscrizioni rinvenute il consigliere Yajnyavahara era un grande studioso e filantropo e si prodigava molto per aiutare le persone vessate da eccessive sofferenze e quelle in condizioni di eccessiva povertà. Come detto sopra, il tempio in origine era dedicato ad un grande condottiero e vi si esercitava sia il culto di Shiva (nella torre centrale e nelle sezioni est-ovest) che il culto di Visnù (sezione nord).

Nel corso del secolo successivo fu oggetto di molti lavori di ristrutturazione. Venne ribattezzato Banteay Srei e il re se ne appropriò e dedicò il culto del tempio esclusivamente al Dio Shiva e affidato al sacerdote Divarakapandita. Il tempio venne utilizzato fino al XIV secolo. In seguito venne abbandonato.

Il tempio venne riscoperto nel 1914. Per anni fu meta di moltissimi ladri che trafugavano le opere d'arte e le rivendevano sul mercato nero. Il famoso caso di André Malraux del 1923 ebbe però come risultato positivo l'inizio di lavori di restauro e di completa riscoperta del tempio. Nel 1936 venne trovata una stele che consentì la datazione e la ricostruzione di parte della storia dell'edificio.