W okresie Kamakura (1185–1333) na terenie tym znajdowała się willa arystokraty (kuge) Kintsune Saionjiego, znana jako Kitayama-dai. W okresie Muromachi (1392–1573) obiekt ten zwrócił uwagę trzeciego sioguna z rodu Ashikaga o imieniu Yoshimitsu (1358–1408), który przejął to miejsce od rodziny Saionji w celu zbudowania własnej rezydencji, którą nazwał Kitayama-dono[a].

Kompleks ten, którego ogrody i architektura skupiały się wokół centralnego Złotego Pawilonu, miał przywoływać raj na ziemi. Z tego też powodu był odwiedzany przez tak cenionych gości, jak cesarz Go-Komatsu (1377–1433; panował w latach 1392–1412). Był on ojcem mistrza zen, poety i opata świątyni Daitoku-ji, Ikkyū Sōjuna (1394–1481)[1].

Posiadłość stała się centrum tak zwanej „kultury Kitayama”, która odegrała kluczową rolę w przyjmowaniu różnych aspektów chińskiej kultury dynastii Ming (1368–1644) do społeczeństwa japońskiego, także dzięki zacieśnieniu stosunków handlowych z kontynentalnym sąsiadem[1].

Po śmierci Yoshimitsu willa została zgodnie z jego wolą zamieniona w świątynię. Nazwa Rokuon-ji została zaczerpnięta z pierwszych dwóch znaków pośmiertnego imienia Yoshimitsu – Rokuon’in. Z kolei imię to pochodzi od Parku Jeleni w stanie Uttar Pradesh, w północnych Indiach, gdzie Budda Siakjamuni wygłosił swoje pierwsze kazanie po osiągnięciu oświecenia[2].[3][4].

W 1950 roku została podpalona (spłonęła doszczętnie) przez psychicznie chorego, pogardzanego, buddyjskiego akolitę, który następnie próbował popełnić samobójstwo. Wydarzenie to stało się motywem bestsellerowej powieści psychologicznej, wydanej w 2017 roku pod polskim tytułem „Złota Pagoda” autorstwa Yukio Mishimy (1925–1970) z 1956 roku. Zdaniem pisarza, nowicjusz zdecydował się na ten krok dlatego, że nie mógł dłużej żyć, odczuwając nad sobą władzę piękna, jaką sprawowała nad nim świątynia, jeden z najcenniejszych skarbów narodowych w Japonii[5].

Odbudowa budowli została zakończona w 1955, a ściany zewnętrzne pokryto płatkami złota w 1987 roku. Zrekonstruowano również malowidła we wnętrzu. Świątynia jest położona nad stawem Kyōko-chi, na terenie parku utworzonego w stylu kaiyū-shiki (kaiyū-shiki teien, ogród krajobrazowy z centralnym stawem, przeznaczony do spacerów), umożliwiającym jej podziwianie poprzez spacer wokół ogrodu[3].

Złoty Pawilon w grudniu 1994 został wpisany na listę światowego dziedzictwa UNESCO jako część zespołu zabytkowego dawnego Kioto, Uji i Ōtsu[4].