Schwäbisch Hall foi fundada no século XII, no momento em que o bispo Gebhard von Würzburg mandou construir a igreja de São Miguel e o mercado da cidade. Porém Schwäbisch Hall possui vestígios de uma salina celta do século I a.C.. O nome da cidade (Hall significa 'sal') mostra sua origem celta.

Apesar do nome da cidade, não pertence à região que a denomina (Suábia). Na verdade, deveria chamar-se "Fränkisch Hall" (relacionada à Francônia). O engano espalhou-se principalmente na época nazista, porque acreditava-se que toda região do antigo Reino de Württemberg pertencia à Suábia.

A produção de sal foi uma das atividades comerciais da cidade até o século XIX. Na Idade Média, esta era uma das atividades mais rentáveis e acabou por proporcionar o título de cidade imperial livre, tornando-se base de apoio ao imperador o que trazia alguns privilégios.

A cidade ganhou importância mesmo com a cunhagem de moedas de prata que chamavam-se "heller", cuja origem está relacionado à dinastia de Frederico Barbarossa (1122-1190). As figuras do brasão da cidade, uma cruz e uma mão, compunham a moeda, que era utilizada em todo o Sacro Império Romano-Germânico devido ao prestígio da cidade. A partir do século XIV, diminuiu a produção o que acarretou perda de importância. No entanto, há referências à estas moedas na tradução da Bíblia feita por Lutero e também em outras obras literárias. Nos dias atuais, "heller" é usado ainda para referir-se a moeda no sul da Alemanha.

Com Johannes Brenz, a cidade integrou-se à Reforma Protestante. Durante a Guerra dos Trinta Anos, a cidade participou da Liga Protestante.

Em 1680, os Gelbinger, moradores de uma região, incediaram o centro medieval durante lutas pela hegemonia no local. A reconstrução da cidade foi financiada pela produção salineira, sendo que ainda nesta época Schwäbisch Hall possuía a maior salina do país.

Durante os ataques aéreos em 1944, o banco de Leipzig queria um lugar seguro para sua sede, e acabou por escolher Hall porque não havia indústrias na cidade e portanto não seria atacada. Com a divisão do país após a Segunda Guerra Mundial, o banco foi desmembrado e a parte que restava à cidade passou a chamar-se Bausparkasse Schwäbisch Hall. Hoje os alemães associam Schwäbisch Hall mais ao banco do que à cidade.

No século XX a produção industrial consolidou-se. Em 1934, começou a construção do aeroporto de Hessental, que foi amplamente utilizado pelos americanos quando as tropas dos Estados Unidos instalaram-se na região. Os americanos permaneceram na cidade até 1993.