Ndërtimi i Koloseumit filloi nën urdhërin e perandorit Vespasian[1] rreth viteve 70-72. Vendi u zgjodh sepse ishte i rrafshtë mes kodrave Caelian, Esquiline dhe Palatine. Gjatë shekullit II p.e.r. vendi ishte dyndëshëm i banuar. Vendi u ç'popullarizua gjatë zjarrit të madh të Romës në vitin 64, ky Neroni përfitoi pjesën më të madhe të teritorit duke e vënë nën kontrollin e tij. Ai e ndërtoi ndërtesën Domus Aurea dhe përballë saj ndërtoi lumenj artificial të rrethuar me pavilione dhe kopshte.[2]

Territori i ngritur nga Neroni u shkatërrua nga Vespasiani dhe përkrahësit e tij. Gjithashtu Colossus u shkatërrua, si dhe pjesa më e madhe nga Domus Aurea u rrënua, lumi u rimbush me tokë dhe vendi u përgatit për ndërtesën e re Flavian Amphitheatre (Koloseumi).

Koloseumi u kompletua deri në pjesën e tretë gjatë kohës së sundimit të Vespasianit i cili vdiq në vitin 79. Niveli i fundit i ndërtimit u bë nga djali i tij Titus në vitin 80.[1] Dio Cassius paraqet se 11,000 kafshë të egra janë therrur në 100 ditët e festimit të inagurimit të amfiteatrit. Godina u modifikua nga djali më i ri i Vespasianit, Imperatori Domitian, i cili ndërtoi hypogeum, një seri tunelesh nëntokësore për të mbajtur në to kafshët dhe skllevërit. Gjithashtu iu shtua një pjesë sipër për të shtuar kapacitetin.

Në vitin 217, u dëmtua shumë nga një zjarr i madh[3] i cili shkaterroi nivelet e sipërme të drunjta të brendësisë së amfiteatrit. Nuk u rindërtua plotësisht deri rreth vitit 240 ku vazhduan dhe përmirsime të mëtejshme në vitin 250 ose 252 dhe përsëri në vitin 320. Më pas për shkak të tërmeteve Kolosumi u riparua edhe nga imperatorë të tjerë.[2]

 

Koloseumi u shfrytëzua për qëllime të ndryshme gjatë kohës së mesjetës. Gjatë shekullit VI një kishë e vogël u ndërtua në hapësirën e brendshme. Arena e Koloseumit u shndërrua në varreza. Sipërfaqe të shumta të ndërtesës nën nivelet u shndërruan në shtëpi adhurimi të cilat kanë qenë të evidentuara deri në shekullin e XII. Rreth vitit 1200 familja Frangipani mbizotëroi Koloseumin dhe e fortifikoi, sigurisht duke e përdorur si kështjellë.

Disa dëmtime pësoi gjatë tërmetit të vitit 1349, duke shkaktuar rrënimin e pjesës jugore. Shumica e gurëve të rënë u shfrytëzuan për ndërtimin e vendeve, kishave, spitaleve si dhe ndërtesave të tjera edhe jashtë Romës. Paria fetare krishtere u vendos në pjesën e tretë veriore të Koloseumit rreth mesit të shekullit XIV duke qëndruar aty deri në vitet e hershme të shekullit XIX.[2]

 

Pamja e brendëshme e Koloseumit. Thomas Cole, 1832.

Gjatë shekullit XVI dhe XVII Popa Sixtus V (1585-1590) planifikoi të shëndërronte ndërtesën në fabrikë për përpunimin e leshit me qëllim ngritjen e punësimit dhe uljen e prostitucionit në Romë, por ky planifikim dështoi për shkak të vdekjes së tij.[4] Në vitin 1671 Kardinal Altieri autorizoi përdorimin e tij për luftra mes demave. Reagimi publik ndikoi për mënjanimin e kësaj ideje.

Koloseumi sot është atraksioni më i madh turistik në Romë duke u vizituar nga miliona vizitorë nga e gjithë bota. Ky efekt ndikoi në realizimin e disa projekteve restauruese gjatë viteve 1993 dhe 2000, duke kushtuar rreth 40 miliard Lira Italiane ($19.3m / €20.6m në v.2000). Në vitet e mëvonshme u bë simbol ndërkomëtar kundër dënimit me vdekje, dënim që u largua nga Italia në vitin 1948. Disa demonstratat kundër dënimit me vdekje u mbajtën pikërisht para Koloseumit në vitin 2000.