מממצאים ארכאולוגיים עולה כי אתרה של אני היה נושב בתקופת הברזל המוקדמת (1200-1100 לפנה"ס) ובתקופת הברונזה, וייתכן שבאתר שכנו גם מבנים בתקופת אוררטו. עם זאת, יישוב הקבע הראשון המתועד בכתובים קם באתר עם הקמת המצודה בחלקה הדרומי של אני במאה ה-4, והעיר נזכרה בכתבים ארמניים במאה ה-5 כמצודה חזקה היושבת בראש גבעה. מעט מצפון למצודה, בנקודה הצרה ביותר של האתר, נמצאים הביצורים אשר הוקמו בידי אשוט השלישי (953-977) משושלת בגראטוני בשנים 960–961. אשוט השלישי העביר את בירתו מקארס לאני ב-961, דבר שהביא להתפתחותה המהירה, מכפר קטן לעיר בירה ולתחנה חשובה על דרך המשי. למעשה, התפתחות העיר הייתה כה מהירה עד כי תוך פחות משלושים שנה היה צורך להקים לה חומה חדשה שתתחום את שטחה החדש. בנו של אשוט השלישי, סמבט השני (977-989), פיתח את העיר והקים בה חומה באורך של כמעט חמישה קילומטרים, ובצידו הצפוני של האתר הוקמה חומה כפולה. העיר הגיעה לשיא פריחתה בתקופת המלך גגיק הראשון (989-1020) אשר העביר אליה את מושב הקתוליקוס של הכנסייה האפוסטולית הארמנית בשנת 992. דבר זה הקנה לעיר מעמד דתי והיא נודעה כ"עיר 1001 הכנסיות". בתחילת המאה ה-11 התגוררו בעיר כ-100,000 איש לפחות, וייתכן שנתון זה היה כפול[1]. עוד שירתו בה 12 בישופים, 40 נזירים ו-500 כמרים.

ב-1042 ניסו הביזנטים להשתלט על העיר אך נהדפו, אולם ב-1045 נכנעה להם העיר והייתה לחלק מהאימפריה הביזנטית. ב-1064 נכבשה אני בידי הסלג'וקים לאחר מצור בן 25 ימים. ב-1072 מכרו הסלג'וקים את אני לידי שושלת וסאלית ממוצא כורדי. העיר הייתה יעדן של מספר התקפות גאורגיות, וב-1199 היא נכבשה בידי צבאותיה של המלכה תמר. בתקופה זו ידעה העיר פריחה מחודשת ותנופת בנייה של כנסיות ומבני ציבור. ב-1239 נכבשה העיר בידי המונגולים אשר בזזו והרסו אותה, ודעיכתה הואצה בשל רעידת אדמה ב-1319 והסטת דרך המשי דרומה לכיוון קיליקיה ומסופוטמיה במחצית המאה ה-14. אני איבדה את מעמדה כבירה דתית כאשר הקתוליקוס העביר את מקום מושבו לירוואן ב-1441. ב-1579 השתלטו העות'מאנים על אני, ובמקום הוסיפה והתקיימה עיירה קטנה עד אמצע המאה ה-17. כנסיית קיזקאלה בדרום האתר נותרה בשימוש של נזירים לפחות עד 1735, וזמן קצר לאחר מכן ננטשה גם היא והיישוב באני בא לסיומו.