מניחים שבית קברות זה היה בשימוש מהמחצית הראשונה של המאה ה-15 (המצבה הוותיקה ביותר שנשמרה, זו של רבי אביגדור קרא, היא מ-1439) ועד שנת 1787. חלק מהחוקרים טוענים כי בית הקברות נוסד 1000 שנים לפני התאריך המקובל. האב הקדמון שלו היה בית קברות בשם "גן יהודי", אשר נמצא בחפירות ארכאולוגיות.

מספר המצבות והאישים הקבורים בו אינו ידוע בוודאות, כי ישנן 12 שכבות של קברים. כאשר התמלא מקום הקבורה, ומכיוון שרכישת קרקעות נוספות הייתה בלתי אפשרית, הונחו על הקברים הקיימים שכבות נוספות של אדמה ומצבות ישנות הוצאו והונחו על השכבה החדשה. פעולה זו מסבירה מדוע המצבות צפופות כל כך אחת ליד השנייה. ההערכה היא כי ישנן כ-12,000 מצבות שנראות כיום, וייתכן שנקברו בבית הקברות במשך הדורות בסך הכל כ-100,000.

בתקופות מסוימות הוזכר שמו של בית הקברות על ידי אנטישמים, בהקשר של טענות תאוריית קשר בהן שימש מקום מפגשם הסודי של זקני ציון הרוקמים תוכנית להשתלט על העולם. מידע זה הוזכר תחילה ברומן "Biarritz" של הגרמני הרמן גדשה (בפרק "בית העלמין היהודי בפראג ומועצת הנציגים של שנים עשר שבטי ישראל") והופץ לאחר מכן ברוסיה כחלק מהפרוטוקולים של זקני ציון.

במקביל להפסקת הקבורה בבית הקברות היהודי העתיק, החלה הקהילה היהודית בפראג להשתמש בבית הקברות היהודי בפראג-ז'יז'קוב.