O local do templo foi uma propriedade do clã Fujiwara no século XI. O primeiro templo, o Daiju-in, e o ainda existente lago foram construídos naquele século por Fujiwara Saneyoshi. Em 1450, Hosokawa Katsumoto, outro senhor feudal poderoso, adquiriu a terra onde o templo permanecia. Ele construiu sua residência lá e fundou um templo zen, o Ryōan-ji. Durante a Guerra de Ōnin entre os clãs, o templo foi destruído. Hosokawa Katsumoto morreu em 1473. Em 1488, seu filho, Hosokawa Matsumoto reconstruiu o templo.

O templo serviu como um mausoléu para os últimos imperadores Hosokawa. Suas tumbas foram agrupadas juntas no que hoje é conhecido como as "Sete Tumbas Imperiais" no Ryōan-ji. Os locais de sepultamento desses imperadores – Uda, Kazan, Ichijō, Go-Suzaku, Go-Reizei, Go-Sanjō, e Horikawa – foram comparativamente humildes no período após suas mortes. Esses túmulos alcançaram o seu estado atual como resultado da restauração no século XIX de sepulturas imperiais (misasagi) que foram solicitadas pelo Imperador Meiji.[1]

Há controvérsia sobre quem construiu o jardim e quando. A maioria das fontes afirmam que o jardim foi construído na segunda metade do século XV.[2] De acordo com algumas fontes, o jardim foi construído por Hosokawa Katsumoto, o criador do primeiro templo de Ryōan-ji, entre 1450 e 1473. Outras fontes afirmam que ele foi construído por seu filho, Hosokawa Masamoto, por volta de 1488.[3] Alguns dizem que o jardim foi construído pelo famoso pintor de paisagens e monge, Sōami (morto em 1525),[4] mas isso é discutido por outros autores.[5] Algumas fontes afirmam que o jardim foi construído na primeira metade do século XVI.[6] Outros autores afirmam que o jardim foi provavelmente construído muito mais tarde, durante o período Edo, entre 1618 e 1680.[5] Há também controvérsia sobre se o jardim foi construído por monges ou por jardineiros profissionais, chamados de kawaramono, ou uma combinação dos dois. Uma pedra no jardim tem os nomes de dois kawaramono gravados nela.

A história conclusiva, baseadas em fontes documentárias é a seguinte: Hosokawa Katsumoto (1430-1473), deputado do xogum, fundou em 1450 o templo Ryoan-ji, mas o complexo foi incendiado durante a Guerra Onin. Seu filho Masamoto reconstruiu o templo no final do mesmo século. Não é claro se qualquer jardim foi construído na época de frente para o salão principal. As primeiras descrições de um jardim, claramente descrevendo um em frente do salão principal, datam de 1680-1682. Ele é descrito como uma composição de nove grandes pedras dispostas para representar filhotes de tigre atravessando a água. Como o jardim possui quinze pedras atualmente, ele era claramente diferente do jardim que vemos hoje. Um grande incêndio destruiu as construções em 1779, e os escombros das construções queimadas foram jogadas no jardim. O escritor e especialista em jardins Akisato Rito (morto em 1830) refez o jardim completamente em cima dos escombros no final do século XVIII e publicou uma imagem do seu jardim em Jardins e Vistas Celebradas de Quioto (Miyako rinsen meisho zue) de 1799, mostrando o jardim como ele é hoje. Uma grande pedra no fundo foi queimada parcialmente. Ela tem dois nomes escritos, provavelmente os nomes de trabalhadores do jardim, então chamados de kawaramono.[7] Não há evidência de monges zen que trabalharam no jardim.