La Cattedrale di Ani, costruita dall'architetto Trdat

Gli storici armeni menzionano Ani per la prima volta nel V secolo, descrivendola come una fortezza posta sulla cima di una collina e appartenente alla dinastia armena dei Kamsarakan.

All'inizio del IX secolo i territori dell'Arsharunik e dello Shirak (inclusa Ani) appartenenti ai Kamsarakan furono incorporati nei possedimenti della dinastia armena dei Bagratuni, il cui capo, Ashot Msaker (detto il "Mangiacarne") (806-827), fu insignito dal Califfato nell'804 del titolo di ishkhan (principe) di Armenia.

La prima capitale dei Bagratidi fu Bagaran, a 40 km a sud di Ani, poi la capitale fu trasferita a Shirakavan, a 25 km a nord-est di Ani, e quindi, nel 929, a Kars. Nel 961 il re Ashot III (953-977) trasferì la capitale ad Ani. La città si espanse rapidamente durante il regno di Smbat II (977-989).

Nel 992 il Catolicosato armeno fu trasferito ad Ani. All'inizio dell'XI secolo la popolazione di Ani oltrepassava i 100000 abitanti e la sua fama era tale da essere conosciuta come "la città dalle quaranta porte" e "la città dalle centouno chiese". L'aumento di potere e di ricchezza ne fecero un importante snodo commerciale.

Ani raggiunse il massimo splendore durante il lungo regno di Gagik I (989-1020). Dopo la sua morte il regno fu diviso tra i due figli: il figlio maggiore, Hovhannes-Smbat (1020-1041), prese possesso di Ani, mentre il figlio minore, Ashot (1020-1040), dominava sulla restante parte del regno Bagratide. Hovhannes Smbat, temendo che l'impero bizantino potesse attaccare il regno ora indebolito, designò suo erede l'imperatore Basilio II. Alla morte di Hovhannes, nel 1041, Michele IV reclamò la sovranità su Ani. Il nuovo re di Ani, Gagik II (1042-1045) vi si oppose e l'imperatore bizantino mandò il suo esercito a prendere possesso della città. Vi riuscì nel 1045, dopo la cattura di Ashot, e nella città venne insediato un governatore greco.

 La regina Tamara

Nel 1064 l'esercito turco, guidato dal sultano Alp Arslan, attaccò Ani e dopo un assedio durato 25 giorni prese possesso della città. Nel 1072 la città fu venduta ai Shaddadidi, una dinastia curdo-musulmana, che perseguì una politica di riconciliazione tra la popolazione armena e cristiana. Molti Shaddadidi sposarono appartenenti alla nobiltà Bagratide. Quando il governo dei Shaddadidi divenne troppo intollerante, la popolazione chiamò in aiuto il regno cristiano della Georgia. I georgiani presero possesso di Ani nel 1124, nel 1161 e nel 1174, ma ogni volta la città ritornò ai Shaddadidi.

Nel 1199 l'esercito della regina Tamara prese possesso della città. Il governatorato fu dato a Zakare e Ivane Mkhargrdzeli, due generali del suo esercito, da cui discese la dinastia dei Zakaridi, che si consideravano gli eredi dei Bagratidi. Presto la prosperità ritornò nella città: furono rafforzati i sistemi difensivi e vennero costruite molte nuove chiese. Il successore di Zakare fu il figlio Shahanshah.

I Mongoli strinsero d'assedio Ani nel 1226. Nel 1236, mentre Shahanshah era assente, saccheggiarono la città uccidendo gran parte della popolazione. Al suo ritorno gli Zakaridi continuarono a governare la città come vassalli dei Mongoli invece che dei georgiani.

Durante la dominazione mongola Ani conobbe un periodo di graduale ma irrefrenabile declino. Fino al XIV secolo la città fu dominata da una successione di dinastie turche, come i Jalayridi e i Kara Koyunlu, che ne fecero la loro capitale. Tamerlano prese possesso della città intorno al 1380, ma alla sua morte i Kara Koyunlu ne ripresero il controllo e trasferirono la capitale a Erevan. I Persiani Safavidi governarono Ani finché essa diventò parte dell'impero Turco-Ottomano nel 1579.

Fino alla metà del XVII secolo Ani fu una piccola città cinta da mura; poi venne abbandonata del tutto verso la metà del XVIII secolo. Allo spopolamento della città seguì lo spopolamento delle aree rurali circostanti dovuto alla crescente presenza delle tribù nomadi curde.