Den romanske Alcántara-bro, 1889.

Toledo har været befolket siden bronzealderen, men fik først for alvor betydning i Romertiden, da byen blev et kommercielt og administrativt center i den romerske provins Tarraconensis. Efter det romerske imperiums fald blev Toledo hovedstad for det visigotiske Spanien med Liuvigild som konge. Toledo var hovedstaden i Spanien indtil Mauerne besejrede Iberia i 700-tallet. Toledo havde sin gyldne tid under Córdoba-kalifatet. Det blev en meget stor kosmopolisk by med en overvejende etniske muslimsk (Muladi) befolkning. Denne omfattende periode er bedre kendt som La Convivencia (711-1492), der kan oversættes til ”sameksistensen", hvor jøder, kristne og muslimer levede fredeligt sammen i byen. Under det arabiske styre blev Toledo kaldt Tulaytulah (Arabic طليطلة). Efter kalifatets fald, blev Toledo hovedstad for et af de rigeste taifa (muslimske kongedømmer i Al-Andalusien), og på grund af den centrale placering i den Iberiske halvø, fik Toledo en central position i kampene mellem muslimske og kristne regenter i det nordlige Spanien. Da Alfonso VI af Castilien erobrede Toledo, var det første gang, en stor by i Al-Andalusien var faldet til kristne styrker.

Den 25. maj 1085 fik Alfonso VI af Castilien direkte og personlig kontrol over den Mauriske by i Toledo og afsluttede dermed Taifas herredømme i Toledo. Dette var det første konkrete skridt taget af de kristne styrker, der hørte under det kombinerede kongerige mellem Leon-Castille i La Reconquista (Generobringen). Efter den castilianske sejr, forblev Toledo et vigtigt kulturelt samlingspunkt. De arabiske biblioteker blev ikke plyndret, og man oprettede et oversættelsescenter, hvor arabiske bøger blev oversat fra arabisk eller hebraisk til spansk af arabiske eller jødiske lærde og fra spansk til latin af castilianske lærde. På denne måde blev viden, som længe havde været gemt i de arabiske skrifter, spredt i det kristne Europa igen. I 1500-tallet var Toledo i noget tid hovedstaden i Castilien, og byen blomstrede, men da den spanske domstol blev flyttet, først til Valladolid og siden til Madrid, mistede byen dens betydning ind til sidst i 1900-tallet, hvor den blev hovedstad for den selvstyrende Castile-La Mancha-region. I dag er Toledo, takket være sin rige arv, en af Spaniens mest berømte og mest besøgte byer.

Efter udbruddet af den spanske borgerkrig forblev byen i den republikanske zone. El Alcázar som var hjemsted for Academia de Infantería, blev belejret af en modstandsgruppe ledet af Oberst Moscardo fra den 21. juli, 1936, indtil General Varelas tropper ankom den 27. september samme år. Dette blev i vid udtrækning brugt som Franco-propaganda. Efter belejringen af El Alcázar var borgen fuldstændig ødelagt. Borgen er senere blevet genopbygget i sin helhed.

Vold og undertrykkelse mellem tilhængere fra hver side var kendetegnende for både krigen og efterkrigstiden. Byen var stadig under republikansk kontrol, og der forekom ofte henrettelse, hvis der var blot en lille mistanke til, at en person tilhørte den katolske kirke. Der var en konstant tilstand af krig i byen og i området omkring El Alcázar. Fejlbombninger forårsagede også stor ravage. Indtil december 1936 levede byen i en tilstand af terror, som gik ud over alle de borgere, som ikke samarbejdede med de nationale tropper. Blandt andet blev der på hospitalerne henrettet kvinder og sårede militsmænd.

Byen blev officielt valgt hovedstad i den selvstændige region Castilla-La Mancha, efter en afstemning i Parlamentet den 7. december 1983.