Vista del tempio con l'acropoli di Atene nello sfondo I resti della colonna caduta nel 1852

La sua costruzione venne iniziata sulle rovine di un tempio preesistente da parte dei tiranni Pisistratidi nel 515 a.C., ma venne abbandonato quando il figlio di Pisistrato, Ippia, venne cacciato dalla città nel 510 a.C.

Durante gli anni della democrazia ad Atene il tempio non venne continuato perché la costruzione era ritenuta un'insolenza verso la divinità se edificata sulle basi gettate dai Tiranni. Aristotele cita inoltre in una sua opera il tempio ad esempio di come i tiranni ingaggiano il popolo in lavori grandiosi lasciandogli così poco tempo e poche energie per ribellarsi. I lavori vennero ricominciati nel 174 a.C. sotto Antioco IV, durante la dominazione macedone. Il tempio venne riprogettato, in modo da essere il tempio più grande che il mondo avesse mai visto, così come desiderato dal sovrano macedone, dall'architetto romano Cossutius. Quando Antioco IV morì, nel 163 a.C., l'edificazione dell'Olimpieon venne nuovamente abbandonata.

Nell'86 a.C., quando la Grecia venne inglobata nell'Impero romano, il generale Silla fece portare due colonne a Roma per ornare il Tempio di Giove Ottimo Massimo, sul Campidoglio. Queste colonne influenzeranno lo sviluppo e l'utilizzo dello stile corinzio in Roma. Svetonio racconta che al tempo di Augusto:

Nel II secolo d.C., più precisamente tra il 129 e il 131, il tempio venne finalmente completato da Adriano, grande estimatore della cultura greca.

Adriano dedicò il tempio a Zeus, conosciuto a Roma come Giove, il re degli dei. Fece erigere una statua crisoelefantina (in oro e avorio) di Zeus nella cella e, poco distante da questa, una sua statua grossa quanto quella del dio. Non rimane tuttavia nulla dell'interno del tempio, distrutto dai barbari e usato come cava di pietre. Si pensa che però, come molti altri edifici in Grecia, possa essere stato distrutto da un terremoto durante il Medioevo e che le rovine rimaste furono reimpiegate come materiali da costruzione.