מקור המידע ההיסטורי הקדום ביותר על העיר הוא דברי ההיסטוריון הרומי טיטוס ליוויוס, שכתב כי העיר ניתנה לפרוקונסול "מרקוס פולביוס" ונקראה טולטום (Toletum). הרומאים כבשו את העיר מידי הוֶטוֹנִים ב-192 לפנה"ס. מיקומה הטופוגרפי של העיר הקטנה, על גבעה מוקפת נהר, נבחר משום הקלות להגן עליה מהתקפות. שני שלישים מהיקף העיר היו מוקפים נהר, שעליו בנו הרומאים גשר, שנהרס ונבנה מחדש בימי הכיבוש המוסלמי. טולדו הייתה בשטחה של הפרובינקיה היספניה טארקוננסיס (Hispania Tarraconensis). בתקופה הרומאית הייתה העיר ידועה בתעשיית הנשק והברזל שלה.

 

במאה החמישית, עם היחלשות האימפריה הרומית, נכבשה על ידי האלאנים ובהמשך על ידי הוויזיגותים, ששלטו ברוב חלקי חצי האי האיברי, והפכו את טולדו לבירת ספרד. בשנת 589 כונסה מועצת טולדו (אנ') השלישית, במטרה לאחד בין הקבוצות הנוצריות השונות בממלכה. בעקבות מועצה זו הומרה האצולה הויזיגותית לנצרות קתולית וטולדו הייתה לעיר קתולית עד לכיבוש המוסלמי בשנת 711.

תחת השלטון המוסלמי נקראה טולדו טוליטולה (Tulaytulah, בערבית: طليطلة). טולדו הייתה בתחילה תחת שלטון חליפות אומיה, ובשנת 756 עברה לאמירות קורדובה, ומאוחר יותר לחליפות קורדובה. בתקופה המוסלמית זכתה טולדו לתור הזהב שלה וחיו בה בצוותא יהודים, מוסלמים ונוצרים.

ב-1085 כבש אלפונסו השישי, מלך קסטיליה את טולדו וקבע בה את בירת המדינה. בימי אלפונסו העשירי, מלך קסטיליה (1252 - 1284) הייתה העיר למרכז תרגומים של יצירות פילוסופיות, מדעיות ותרבותיות, מערבית לקסטיליאנית וללטינית. את התרגומים ביצעה "אסכולת המתרגמים" שהקים הארכיהגמון ריימונדו דה סובטאט, שכיהן בטולדו בשנים 1125 - 1152.

התקופה שבין 711 ל-1492 נקראת בספרדית "לה קונוויוונסיה" (La Convivencia) - תקופת הדו-קיום של טולדו. בעיר חיו בצוותא יהודים, מוסלמים ונוצרים. גירוש יהודי ספרד בשנת 1492 הביא לנסיגה חברתית וכלכלית בחשיבות העיר.

המאה ה-16 הביאה לפריחת העיר מחדש שעה שהמלך קרלוס הראשון, שהיה גם שליט אוסטריה, קבע את מקום חצרו בטולדו. התפתחות האימפריה הספרדית ברחבי העולם החדש גרמה לכך שהעיר הייתה קטנה מדי לצורכי הביורוקרטיה. בשנת 1561 העתיק המלך פליפה השני את חצר המלכות למדריד, וטולדו לא חזרה עוד לגדולתה.

למעט כ-300 שנים של שלטון מוסלמי, התקיימה בטולדו פעילות דתית ענפה של הכנסייה הקתולית. מהמאה ה-5 ועד המאה ה-16 נערכו בה כ-30 כינוסים של הכנסייה, החל מ-447, בעניין התאולוג פריסליאן, שהיה הנוצרי הראשון שהוצא להורג בגין כפירה, וכלה במועצה שנערכה ב-1582 - 1583, בראשות פליפה השני, מלך ספרד.

בכיכר המרכזית העתיקה של העיר בוצע בשנת 1600 טקס האוטו-דה-פה.

תושבי העיר מקיימים את תהלוכת הפסחא, בשעות החשכה, ובה מוציאים מהכנסיות פסלים של ישו ונושאים אותם על אפיריונים. התהלוכה צועדת לאיטה, תוך כדי הפסקות בהן הצועדים שרים. הצועדים לבושים רובם בשחור, חובשים כובעים מחודדים, ומטלטלים פנסי רוח.