Rester av mänsklig bosättning från yngre stenåldern (ca 6 000 f. Kr.) har påträffats inom det nutida stadsområdet. Man har också påträffat lämningar efter keltiska saliner från femte till första århundradet f. Kr. Det första skriftliga beviset på stadens existens är en invigningsurkund från 1156 rörande St. Michaelskirche. Sannolikt var det kejsar Fredrik I Barbarossa, som lät upprätta en myntpräglingsverkstad på orten där man präglade stora mängder av Heller, (pfennig från Hall). 1204 betecknas Schwäbisch Hall för första gången som stad. I en tvistedom beslutade kung Rudolf av Habsburg att staden var en s.k. riksstad, vilket innebar ett direkt lydande under kejsaren och vissa privilegier och rättigheter men också vissa skyldigheter mot kejsaren. Under 1300 - 1700 utvidgar riksstaden systematiskt sitt område och i slutet av 1700-talet omfattade staden ca 330 km². Under första världskriget var ett stort fältlasarett placerat i staden. 1936 förlades ett flygförband från Luftwaffe i staden. Under andra världskriget var förbandet i huvudsak utrustat med bombplan och nattjaktplan. Det första serieproducerade jetplanet Messerschmitt Me 262 var i krigets slutskede stationerat här. Fr.o.m. 17 april 1945 och fram till 1993 var staden stationeringsort för den amerikanska armégarnisonen Camp Dolan. Staden har sedan krigets slut mer än fördubblat sitt invånarantal. Villmanstrand i Finland är sedan 1985 vänort till staden.