Alba Iulia is gebouwd in de Dacische tijd, en kreeg de naam Apulon. Toen de Romeinen het zuiden van Dacië veroverd hadden, werd de hoofdstad verplaatst van Sarmizegetusa naar Apulon, dat toen de Latijnse naam Apulum kreeg.

In de 9e eeuw werd de nederzetting Bălgrad (Witte Citadel) genoemd. Maar de Hongaarse Gestas ontdekten de stad, namen ze in, en maakten ze tot hoofdstad van hun rijk in de 10e eeuw. Stefanus I van Hongarije maakte het katholicisme tot staatsreligie en zo werd de eerste katholieke kathedraal gebouwd in de 11e eeuw. Nog steeds is Alba Iulia de zetel van de Rooms-katholieke aartsbisschop. Het aartsbisdom Alba Iulia heeft zijn meeste leden onder de Hongaren in het Szeklerland.

In 1442 gebruikte Jan Hunyadi, vorst van Transsylvanië, de citadel voor voorbereidingen op grote gevechten tegen de Ottomanen.

De stad werd in het jaar 1541 de hoofdstad van het vorstendom Transsylvanië en bleef dat tot 1690. Met de heerschappij van Gabriël Bethlen, tussen 1613 en 1629, kende Alba Iulia zijn Gouden Tijd. In 1690 kwamen de Habsburgers aan de macht, die de stad de naam Karlsburg gaven.

In 1600 was het de vorst van Walachije, Mihai Viteazul (Michaël de Dappere), gelukt voor het eerst de twee Roemeense vorstendommen (Wallachië en Moldavië) en Transsylvanië te verenigen. Daardoor wordt hij nu nog als een belangrijke Roemeense staatsheld gezien, ook al duurde die vereniging maar 1 jaar.

Op 1 december 1918 werd Transsylvanië door het Verdrag van Alba Iulia gevoegd aan Koninkrijk Roemenië, waardoor 1 december werd uitgeroepen tot nationale feestdag van Roemenië. Sindsdien is de naam ook Alba Iulia.

De stad is een perfect voorbeeld van de roemenisering van Transsylvanië. Alba Iulia vormde het decor waartegen Ferdinand I van Roemenië in het jaar 1922 tot koning van Groot-Roemenië werd gekroond.