Hendl Basseviの墓碑の上にあるライオンの標 1900年頃の墓碑たち。
ハンブルクのKnackstedt & Nätherによるステレオ写真の彩色ポストカード(No.782)

この旧ユダヤ人墓地はプラハの最初のユダヤ人墓地ではない。これ以前の墓地はユダヤ庭園と呼ばれ、現在のプラハのニュータウン（英語版）に位置していた。 この墓地は1478年にプラハ市民の不満を受けたヴワディスワフ2世の命令によって閉鎖され、後にはニュータウンの街路の下へと隠されることとなった。 この出来事以前より旧ユダヤ人墓地の歴史が始まっていることは判明しているが、開設された正確な日付は不明である。 唯一の手がかりとしては、1439年からあるラビで詩人のアヴィグドール・カラ（英語版）の墓碑がこの墓地で最も古い。

15世紀の中頃からの継続的な埋葬の時系列が墓碑の記録から判明している。 最後の墓碑は1787年のもので、これより3年前より啓蒙君主のヨーゼフ2世は、衛生面での理由から街壁の内側に埋葬することを禁じていた。 のちにプラハのユダヤ人たちは、17世紀頃、ペストの流行により開設されたジシュカの墓地を利用することとなった。

三世紀以上に渡り活発に利用され続けていたこの墓地は常に敷地不足に悩まされていた。 信心と亡き先祖たちに対する敬意は、ユダヤ人たちに古い墓を壊すことは許さなかった。 ユダヤ人たちのコミュニティが土地を購入し墓地を拡張する許可を得る機会は多くなく、領域を拡張する必要に応じて利用可能な場所には土壌が積まれ、新たな領域が作られた。 この理由により、最も多い所では12層にも重ねられた場所が存在する。 この土地不足への解決法により、古い墓々も完全なまま残されることとなった。 なんにせよ新しい階層が追加される時には、古い（下の）階層に属する墓碑を保護する為に横たえるか、上部の新しい層に移すことが必要とされた。 このため、今日では外から見える位置に墓碑が密集しており、その持ち主の多くは何層か下に離れて埋葬されている。 これはまた、なぜ墓地の地面が周囲の街路よりも数メートル盛り上がり、土壌と墓碑群を保持するための擁壁が必要となるかの説明ともなる。