In 1078 gaf Willem de Veroveraar als koning Willem I opdracht voor de bouw van de White Tower, een vierkant fort dat moest dienen ter bescherming van de Normandische veroveraars tegen aanvallen van binnen en buiten. Eerdere forten op die plaats waren voornamelijk van hout geweest, maar hij beval om zijn Tower van steen te laten maken. De White Tower dankt zijn naam aan de witte stenen, een soort kalk, die erin zijn aangebracht en aan de torens op de hoeken. Koning Richard Leeuwenhart liet de slotgracht graven, gevuld met water uit de Theems. Later werden om het fort heen extra verdedigingsmuren gebouwd en er ontstond een uitgebreid gebouwencomplex, dat eenvoudig Tower genoemd werd. Het oorspronkelijke fort stond (en staat) nu feitelijk midden in een groter kasteel.

In de 13e eeuw werd een koninklijke menagerie geopend, mogelijk al in 1204 ten tijde van koning John, en waarschijnlijk voorzien van dieren uit een eerdere menagerie uit 1125 van koning Hendrik I van Engeland uit zijn paleis in Woodstock bij Oxford. De oorsprong ervan wordt vaak gedateerd in 1235, toen Hendrik III van Engeland een huwelijkscadeau ontving, bestaande uit drie luipaarden (waarschijnlijk waren het leeuwen) van keizer Frederik II van het Heilige Roomse Rijk. In 1264 werd de menagerie verplaatst naar het bolwerk (the Bulwark), dat dan ook toepasselijk de naam Lion Tower verkreeg.

De Tower diende voor het laatst als paleis in de tijd van Jacobus I (1566-1625). Het is in de geschiedenis vooral bekend geworden als gevangenis voor met name gevangenen uit de hogere kringen. Zo zat koningin Elizabeth I een tijdlang gevangen in de Tower tijdens het bewind van haar zuster Maria Tudor. Een van de laatste gevangenen die vastzat in de Tower was Rudolf Hess tijdens de Tweede Wereldoorlog. De tweeling Ronald en Reginald Kray zat er in 1952 een paar dagen vast wegens dienstweigering.

Tijdens de regering van Elizabeth I werd de menagerie opengesteld voor publiek. In 1840 schreef William Harrison Ainsworth een historische roman met de naam The Tower of London, A Historical Romance, met name over de laatste dagen van Jane Grey die zij daar in 1554 doorbracht. Ainsworth vervlocht hierin tal van beschrijvingen van alle delen van de Tower en tal van andere historische anekdotes, die met het gebouwencomplex in verband stonden. Doordat dit boek door veel mensen uit de betere kringen gelezen werd, steeg de belangstelling voor de bezichtiging van de Tower zelf abrupt. Zo zeer, dat in 1841 een officiële toeristengids voor de Tower werd gedrukt: tot dan toe een zeldzaam verschijnsel.

De Tower is een toeristische attractie, onder meer vanwege de tentoongestelde kroonjuwelen en de verzameling harnassen en wapentuig.