माना जाता है कि मीनार-ए-जाम ग़ोरी राजवंश की ग्रीष्मकालीन राजधानी फ़िरूज़कुह (Firuzkuh) के पास बनवाई गई थी। इसपर अरबी भाषा में बनी लिखाईयों पर लगी तारीख़ ठीक से पढ़ी नहीं जा सकती। या तो यह सन् ११९३-९४ का ज़िक्र कर रही है, या फिर सन् ११७४-७५ का। इसलिए या तो यह ग़ोरियों के सुलतान ग़ियासउद्दीन की दिल्ली में सन् ११९२ में ग़ज़नवियों पर हुई जीत का स्मारक थी या फिर सन् ११७३ में ग़ज़नी में ग़ुज़​ तुर्कों पर हुई जीत का। १२वीं और १३वीं सदी में ग़ोरी राजवंश का साम्राज्य पूर्वी ईरान से लेकर उत्तर भारत में दिल्ली तक फैला हुआ था।[1]

ग़ोरी राजवंश का बखान करने वाले मध्यकालीन लेखक जुज़जानी के अनुसार यह मीनार यही पर स्थित जुम्मा मस्जिद के साथ जुड़ी थी लेकिन नदी में अचानक सैलाब आने से मस्जिद बह गई। इतिहासकारों ने यहाँ छानबीन करके पाया है कि मस्जिद के साथ एक बड़ा आँगन सटा हुआ है जो संभव है उसी मस्जिद का हिस्सा रहा हो। १२०२ में ग़ियासउद्दीन के देहांत के बाद ग़ोरियों का साम्राज्य ढलने लगा और वह अपनी ज़मीनें ख़्वारेज़्म साम्राज्य को खोने लगे। जुज़जानी का कहना है कि १२२२ में मंगोल आक्रमण ने फिरूज़कुह शहर को ख़त्म कर दिया।

अफ़ग़ानिस्तान से बाहर की दुनिया को इस मीनार की ज़्यादा ख़बर नहीं थी लेकिन १८८६ में भारत के ब्रिटिश राज से जुड़े अफ़सर थोमस होलदिक (Thomas Holdich) यहाँ पहुंचे और उन्होंने इसका ज़िक्र अपनी रपट में किया। २०वीं सदी में कई इतिहासकारों ने आकर इसका अध्ययन किया।