Varhaisimmat jäänteet asutuksesta Ateenassa ovat neoliittiselta kaudelta noin 4000–3000 eaa.[1][2] Tuolloin asutus keskittyi Akropolis-kukkulalle, mutta viimeistään keskisellä pronssikaudella 2000–1600 eaa. asutus oli levinnyt myös kukkulaa ympäröivälle tasangolle muun muassa myöhemmän Agoran alueelle.[1] Varsinaisena kaupunkina Ateenasta voidaan kuitenkin puhua vasta mykeneläisellä ajalla 1500-luvulta eaa. lähtien, jolloin Athene-jumalatar voitti tarun mukaan kaupungin herruuden meren jumala Poseidonilta. Samoihin aikoihin sijoittuu myös tradition mukaan kaupungin perustaminen, joka tapahtui Kekropsin hallituskaudella vuonna 1581 eaa.[3]

Todennäköisenä pidetään, että Ateena on useimpien muiden Kreikan kaupunkivaltioiden tavoin ollut alkujaan kuningaskunta. Akropoliilla oli kuninkaanpalatsi noin 1400–1100 eaa.[1] Antiikin lähteissä mainitut Ateenan kuninkaat ovat kuitenkin, joitakin myöhäisimpiä mahdollisesti lukuun ottamatta, ilmeisesti taruhenkilöitä. Mykeneläisen ajan päättymisestä Ateena vaikuttaa selvinneen muita keskuksia rauhallisemmin. Se ei tuhoutunut doorilaisvalloituksissa muiden mykeneläisten keskusten tavoin, mutta koki silti kulttuurisen muutoksen niin kutsuttujen pimeiden vuosisatojen aikana.[4]

Viimeistään 600-luvulla eaa. Ateenan hallintoa johtivat arkontit, eikä kuningasta enää ollut. Mainitun vuosisadan arkonteista tunnetuin on Drakon, joka myös sääti Ateenan vanhimmat tunnetut lait.

Ateenan Agoran arkeologista aluetta: Hefaistoksen temppeli ja Keskistoan rauniot.

Viimeistään arkaaisella ajalla 500-luvulla Akropoliilla oli varhaisia temppelirakennuksia. Solon uudisti kaupungin hallintoa, lakeja ja taloutta noin 594 eaa. Uudistuksia voidaan pitää eräänä Ateenan demokratian alkupisteistä. Hieman myöhemmin Peisistratos kuitenkin nousi kaupungin tyranniksi. Peisistratoksen suvun tyrannia kesti vuodet 561–555 ja 546–528 eaa.[1] Pysyvästi demokratian vakiinnutti vasta Kleistheneen valtiosääntöuudistus vuonna 510 eaa. Uudessa järjestelmässä Ateenan köyhimmätkin vapaat miespuoliset kansalaiset saivat olla mukana päättämässä valtion asioista, sitä vastoin eivät edelleenkään naiset, orjat eivätkä kansalaisoikeutta vailla olevat maahanmuuttajat. Kansalaiset kokoontuivat kansankokouksessa eli ekklesiassa.

Jo 500-luvulla Ateena valtasi koko Attikan maakunnan. Kun Vähän-Aasian joonialaiskaupungit kapinoivat Persian valtakuntaa vastaan, Ateena lähetti joukkoja heidän tuekseen. Tämä sai persialaiset lähettämään kaksi retkikuntaa Kreikkaan (niin kutsutut persialaissodat). Dareios I:n aloittama sotaretki päätyi Ateenan voittoon Marathonin taistelussa vuonna 490 eaa. Kymmenen vuotta myöhemmin Dareioksen poika Kserkses I aikoi vallata koko Kreikan. Tässä yrityksessä, vuonna 480 eaa., persialaiset hävittivät Ateenan kaupungin, mutta Ateenan ja muiden kaupunkivaltioiden laivastot löivät persialaisten laivaston pian tämän jälkeen Salamiin taistelussa.

Persialaiset lyötiin lopullisesti Plataiain taistelussa 479 eaa. Sen jälkeen Ateena jälleenrakennettiin. Klassisen antiikin aikana Ateena oli merkittävin kreikkalainen kaupunki ja koko kreikkalaisen maailman kulttuurin ja kaupankäynnin keskus. Kaupunkiin rakennettiin myös suuri kaupunginmuuri, Themistokleen muuri, sekä myöhemmin Pireuksen satamakaupunkiin ulottuvat niin kutsutut Pitkät muurit.[1] Ateena perusti niin sanotun Deloksen meriliiton, johon kuului suurin osa Egeanmeren saarista. Seuraavien vuosikymmenien aikana liitosta muodostui Ateenan imperiumi ja muista liiton jäsenistä tuli Ateenan alamaisia. Tuon ajan merkittävin johtaja oli Perikles. Akropoliin suuret rakennushankkeet, mukaan lukien Parthenon, toteutettiin 447–425 eaa.[1]

Ateenan kasvava valta sai Spartan aloittamaan peloponnesolaissodan vuonna 431 eaa. Sota loppui Ateenan tappioon vuonna 404 eaa. Spartalaiset asettivat Ateenan johtoon niin sanotut kolmekymmentä tyrannia, mutta demokratia saatiin palautettua jo seuraavana vuonna. 300-luvulla eaa. Ateena sai osittain jälleenrakennettua vanhan imperiuminsa, mutta Makedonian kuningas Filippos II kukisti Ateenan ja Theban joukot vuonna 338 eaa.

Keisari Hadrianuksen viimeistelemä Olympoksen Zeuksen temppeli.

Hellenistisellä ajalla Ateena ei enää ollut itsenäinen vaan Makedonian vallan alla. Vuonna 146 eaa. se joutui Rooman valtakunnan vallan alle. Rooman valtakunnan osana Ateena kuului aluksi Macedonian provinssin alueeseen, mutta vuodesta 27 eaa. eteenpäin uuteen Achaean provinssiin, johon kuuluivat Kreikka, Thessalia ja Epeiros. Vuonna 86 eaa. Sulla hävitti ja ryösti Ateenaa, sillä se oli asettunut Pontoksen kuninkaan Mithridates VI:n puolelle roomalaisia vastaan. Myös Pompeiuksen ja Caesarin välisessä taistelussa sekä Brutuksen taistelussa Octavianusta ja Antoniusta vastaan kaupunki oli asettunut väärälle puolelle, mutta voittajat kohtelivat kaupunkia kuitenkin lempeästi.

Roomalaisen ylemmän luokan nuorukaisen koulutukseen kuului useimmiten opiskelu Ateenan filosofikouluissa. Rikkaat roomalaiset suosivat kaupunkia myös tekemällä sille lahjoituksia, ja varsinkin keisari Hadrianus (117–138) piti kaupungista erityistä huolta. Hän muun muassa rakennutti sinne yhden kokonaan uuden kaupunginosan ja restauroi useita vanhoja rakennuksia.

Vuonna 267 gootteihin kuulunut herulien heimo tuhosi kaupunkia, mikä tarkoitti käytännössä klassisen kaupungin loppua. Väestö vetäytyi pienelle alueelle Akropoliin pohjoispuolelle.[1] Sata vuotta myöhemmin, vuonna 396 länsigootit ryöstivät kaupunkia Alarikin johdolla. Kaupunki kuitenkin rakennettiin uudelleen näiden hyökkäysten jälkeen.

Antiikin aikana klassiselta ajalta aina roomalaisajalle kaupungissa toimi useita filosofikouluja, joista tunnetuimmat olivat Platonin Akatemia ja Aristoteleen perustama Lykeionin peripateettinen koulu. Kyyninen koulukunta sai nimensä Kynosargeen gymnasionista, stoalainen koulukunta puolestaan Stoa poikilesta. Ateena säilyi tärkeänä opiskelukaupunkina vuoteen 529, jolloin sen viimeisetkin filosofikoulut lakkautettiin.[5] Kaupungin pakanallisia temppeleitä muutettiin kirkoiksi jo 400-luvulta lähtien.[1]

Pyhien apostolien kirkko, yksi Ateenan bysanttilaisista kirkoista.

Rooman valtakunnan jakautuessa Ateenasta tuli osa Itä-Roomaa, myöhempää Bysantin valtakuntaa. Ateenasta tuli arkkipiispanistuin noin vuonna 850. 1000- ja 1100-lukuja kutsutaan Ateenan bysanttilaisen taiteen kultakaudeksi. Tuolloin kaupunki vaurastui saippuan ja väriaineiden tuottajana ja sinne rakennettiin lukuisia bysanttilaisia kirkkoja ja luostareita.[1]

Ateena säilyi Bysantin osana 1200-luvun alkuun. Vuonna 1205 italialais- ja frankkiristiretkeilijät valtasivat kaupungin. 1200–1400-luvut Ateena oli osa erilaisia ristiretkeläisvaltioita, kuten Ateenan herttuakuntaa vuodesta 1259.[1]

Osmaanien valtakunnan sulttaani Mehmed II valloitti kaupungin vuonna 1458. Sulttaani ihastui kaupunkiin ja kielsi tuhoamasta sen raunioita kuoleman uhalla. Parthenon muutettiin moskeijaksi.[1]

Piirros Ateenasta osmanivallan viimeisiltä vuosilta, vuodelta 1821.

Osmaniajalla kaupungin väkiluku laski ja muutoinkin kaupunki taantui muun valtakunnan mukana 1600-luvulla. Ajan myötä antiikin rakennuksista ei enää pidetty huolta, ja Parthenonkin päätyi ammusvarastoksi venetsialaisten hyökkäyksen aikana 1687. Temppeliin osui taistelujen aikana tykinlaukaus, mikä aiheutti sille suurta tuhoa. Propylaia oli vaurioitunut ruutivaraston räjähdyksessä jo 1656. Kaupunki oli venetsialaisten vallassa 1687–1688 ja sen jälkeen tyhjillään kaksi vuotta. Kreikkalaiset ja turkkilaiset palasivat kaupunkiin 1690.[1]

Kaupungin antiikin aikaiset muistomerkit olivat 1800-luvulle tultaessa rappeutuneen niin pahoin, että usein ajateltiin niiden säilymisen kannalta olevan parasta viedä ne pois maasta. Tunnetuimpana tapauksena ovat Lordi Elginin Parthenonista irrottamat marmorit (niin kutsutut Elginin marmorit), jotka vietiin Lontooseen.

Kreikan itsenäisyyssodan (1821–1831) aikana kaupunki oli vuoroin osmaanien, vuoroin itsenäisyystaistelijoiden hallinnassa. Ateenalaiset piirittivät Akropoliilla olleita turkkilaisia 1821–1822 ja tämän jälkeen karkottivat nämä. Kaupunki oli kreikkalaisten valvonnassa vuoteen 1826, jolloin turkkilaiset puolestaan piirittivät Akropoliilla olleita kreikkalaisia. Ateena antautui turkkilaisille 1827 ja nämä pitivät Akropoliin hallussaan vuoteen 1833. Tuona aikana taisteluissa pahoja vaurioita kärsinyt muu osa kaupungista oli pari vuotta tyhjillään, mutta 1831 kreikkalaiset alkoivat jo rakentaa uutta Ateenaa Akropoliin ympärille. 31. maaliskuuta 1833 turkkilaiset lopulta antautuivat ja Ateenasta tuli osa Kreikkaa.[1]

Ateenasta tuli vastasyntyneen Kreikan kuningaskunnan pääkaupunki 18. syyskuuta 1834. Perusteluna valinnalle oli lähinnä kaupungin loistava menneisyys. Tuolloin kaupungissa oli asukkaita vain noin 8 000. Kuningas ja hovi muuttivat Ateenaan Náfpliosta. Ateenaa alettiin rakentaa maan pääkaupungiksi. Valtionhallinto toimi aluksi kirkoissa ja moskeijoissa.[1]

Ateena kasvoi huomattavasti seuranneina vuosikymmeninä. Kaupungista rakennettiin moderni kaupunki uusklassiseen tyyliin. Samaan aikaan sai alkunsa kaupungin arkeologinen tutkimus sekä antiikin monumenttien aktiivinen suojelu. Kaupungissa järjestettiin vuoden 1896 kesäolympialaiset, jotka olivat ensimmäiset modernit olympialaiset.[1]

Uudemman kerran Ateena alkoi laajeta voimakkaasti 1920-luvulla, kun siihen liitettiin useita esikaupunkialueita, jotta saataisiin tilaa Vähästä-Aasiasta Kreikan ja Turkin väestönvaihdon seurauksena tulleille pakolaisille. Kaupunkiin syntyi useita kaupunginosia, joiden nimet viittasivat Vähä-Aasian entisiin kreikkalaisalueisiin. Pireus kasvoi käytännössä yhteen Ateenan kanssa.[1]

Toisen maailmansodan aikana kaupunki oli saksalaisten miehittämä toukokuusta 1941 lähtien. Kaupunki kärsi suuresta nälänhädästä vuosina 1941–1942. Ateena ja Kreikka vapautettiin 12. lokakuuta 1944. Sodan jälkeen kaupunki jatkoi kasvuaan kiivaaseen tahtiin ja lähes hallitsemattomasti aina noin vuoteen 1980. Väkiluvun nousu johti saasteongelmiin, joita on 1990-luvulla pyritty ratkaisemaan muun muassa rajoittamalla autoliikennettä keskustassa ja parantamalla julkista liikennettä. Toimet ovat tehonneet, ja varsinkin smogin aiheuttamat ongelmat pienenneet huomattavasti.