Genom utgrävningar 1906-1908 har det visats att platsen varit bebyggd redan omkring 2000 f.Kr., dock endast med primitiva hyddor, innehållande stenredskap och lergods.

De olympiska spelen firades i Olympia mellan cirka 776 f.Kr. och 393 e.Kr.,[1] men platsens egentliga glansperiod kan anses vidta ungefär samtidigt med perserkrigen på 400-talet f.Kr. och sträcker sig till slutet av Greklands nationella självständighetstid. Ännu under många århundraden därefter fortfor dock Olympia att vara en betydelsefull helgedom för hela den grekisk-romerska världen, och kunde vid de vart fjärde år återkommande festspelen fröjda sig åt talrika skaror av besökande. Även under de långa mellantiderna var den heliga orten ingalunda öde. En mängd präster och tempeltjänare bodde där ständigt för helgedomarnas vårdande samt för att ombesörja de dagliga offren och det med Zeustemplet förbundna oraklet. Detta förestods av vissa prästerliga släkter, bland vilka iamiderna intog det främsta rummet.

Med kristendomens erkännande som statsreligion under 300-talet e.Kr. var Olympias betydelse förbi och dess härlighet dömd att försvinna. Förstörelsen påskyndades av andra faktorer. År 395 hemsöktes Olympia av goter under Alarik I, och 426 utfärdade kejsar Theodosius II ett påbud om förstörandet av alla hedniska tempel, vilket även skall ha lett till att Zeustemplets brändes, för så vitt detta med hänsyn till templets material och byggnadssätt lät sig göra. Vad rovgirighet, förstörelselust och religionsfanatism lämnat övrigt härjades av en jordbävning, som tycks ha med ett slag kullstörtat såväl Zeustemplet som övriga byggnader och minnesmärken och sannolikt är identisk med någon av de mycket våldsamma jordbävningar som år 522 och 551 hemsökte även andra delar av Grekland. Ett jordras från Kronosberget i förening med massor av slam och grus från floden Kladeos, som genombrutit sin fördämningsmur och översvämmat hela Altis, torde snarare ha tjänat att bevara de återstående spillrorna än att ytterligare främja förstörelsen.