Haw Phra Kaew pertama kali dibangun pada tahun 1565–1566 atas perintah raja Setthathirat setelah ibu kota kerajaan Lan Xang dipindahkan dari Luang Prabang ke Vientiane.[1] Kuil ini dahulu dibangun di atas tanah istana kerajaan sebagai tempat untuk menyimpan arca Buddha Zamrud yang dibawa oleh raja Setthathirath dari Chiang Mai dan kemudian ditempatkan di Luang Prabang, lalu dipindahkan lagi ke Vientiane. Tidak seperti kuil pada umumnya, kuil ini tidak memiliki bhikkhu yang menetap di dalamnya. Hal itu disebabkan kuil ini dahulu dijadikan sebagai tempat ibadah pribadi bagi raja Setthathirat.[2] Arca Buddha Zamrud tersimpan dengan baik di kuil ini selama kurang lebih 200 tahun, hingga pada tahun 1779, Vientiane direbut oleh Buddha Yodfa Chulaloke yang merupakan raja pendiri dinasti Chakri dan arca tersebut dibawa ke Thonburi yang hingga sekarang berada di Wat Phra Kaew, Bangkok.

Setelah kehancuran akibat perebutan Vientiane tersebut, kuil ini dibangun kembali oleh raja Anouvong pada tahun 1816, tetapi hancur kembali akibat peperangan raja Anouvong yang memberontak terhadap pendudukan tentara Siam pada tahun 1828. Hingga pada tahun 1936, pemerintah kolonial Perancis membangun kembali kuil ini dan pada tahun 1970-an kuil ini dialihfungsikan menjadi sebuah museum yang menyimpan benda-benda suci agama Buddha di Laos.[2]