Secondo la tradizione, il monastero venne fondato nel IV secolo da San Gregorio Illuminatore, nel luogo in cui si trova una sorgente all'interno di una grotta, sorgente che in tempi precedenti il Cristianesimo era ritenuta sacra. Il primo monastero venne distrutto dagli Arabi nel IX secolo.

Nulla è rimasto del monastero originale. Secondo gli storici armeni del IV, VIII e X secolo la struttura comprendeva, oltre ad edifici religiosi, anche edifici residenziali e negozi. Ayrivank (questo il nome originale del monastero), venne saccheggiato nel 923 da Nasr, il vice-reggente del califfo in Armenia, che depredò il monastero, compresi manoscritti di inestimabile valore, e lo diede alle fiamme. I terremoti fecero il resto.

Benché ci siano iscrizioni risalenti al 1160, la chiesa principale venne costruita nel 1215 col patrocinio dei fratelli Zagare e Ivane, generali della regina Tamar di Georgia, che riconquistò gran parte dell'Armenia ai Turchi. Il gavit, per metà scavato nella roccia, è antecedente al 1225, e una serie di cappelle scolpite nella roccia sono della metà del XIII secolo, periodo in cui il principe Prosh Khaghbakian, vassallo della famiglia Zakarian e fondatore del principato di Proshian, acquistò il monastero. In breve tempo la gente di Proshian costruì le strutture nelle grotte cui il complesso monastico di Geghard deve la sua fama: la seconda chiesa in caverna, il sepolcro di famiglia degli zhamatun Papak e Ruzukan, una sala per le riunioni e gli studi (crollata nella metà del XX secolo) e numerose celle. La camera a nord-est del gavit divenne la tomba del principe Prosh Khaghbakian nel 1283. La camera adiacente ha, scavati nella roccia, gli stemmi della famiglia Proshian, compresa un'aquila con un agnello fra gli artigli. La stessa famiglia costruì nel corso del XIII secolo un sistema di irrigazione per Geghard. In quegli anni il monastero era anche conosciuto come "il Monastero delle Sette Chiese" e "il Monastero dei Quaranta Altari". Dovunque, intorno al monastero, si possono trovare grotte e khachkar. In seguito il monastero cominciò un lungo declino, la chiesa principale venne usata per dare riparo alle greggi dei nomadi Karapapakh durante l'inverno, fino a che non venne rimesso in sesto da alcuni monaci provenienti dalla città di Echmiadzin dopo la conquista russa. Il sito, che venne restaurato per scopi turistici, ha tuttora una piccola comunità ecclesiastica, ed è meta di pellegrinaggi.

Il monastero divenne famoso a causa delle reliquie che ospitava. La più celebre era la lancia che trafisse Cristo in Croce, che secondo la leggenda venne portata in questo luogo dall'Apostolo Taddeo, anche se la prima volta se ne parla in un documento del 1250. Questo ne ha fatto un importante luogo di pellegrinaggio per i Cristiani di rito Armeno. Nel XII secolo vennero donate al monastero reliquie degli Apostoli Andrea e Giovanni, e pii visitatori fecero numerosi doni di terre, denaro e manoscritti per i successivi secoli. In una delle celle scavate nelle grotte visse, durante il XIII secolo, il noto storico armeno Mkhitar Ayrivanetsi. L'unica di queste reliquie sopravvissuta fino a noi è la leggendaria lancia, la cui asta ha una targa a forma di diamante attaccata alla sua parte terminale. Oggi la lancia è conservata nel museo di Echmiadzin.