Gabès behoorde vroeger tot Carthago. Na de Tweede Punische Oorlog in de 2de eeuw voor Christus kwam de stad onder Romeins bewind. Het kreeg toen de naam Tacape.

In de 7e eeuw kwam Gabès onder moslimbewind en brak er een totaal nieuwe periode aan voor de stad. Sidi Abou Loobaba vestigde zich in Gabès.

In 1881 trad Gabès toe tot het Franse protectoraat, hetgeen veel stadsbewoners ervoeren als een bezetting. De meesten emigreerden naar de hoofdstad Tunis of naar Djerba en een kleine groep naar Frankrijk of Israël.

In 1940, het begin van de Tweede Wereldoorlog, kregen de Duitsers het voor het zeggen in de stad. Dat veranderde in 1943, toen met behulp van de Britten Gabès weer in Franse handen kwam. De oorlog zorgde echter voor veel schade aan de infrastructuur. Aan het eind van de oorlog (1945) werd begonnen de stad te herbouwen.

In 1956 werd het koninkrijk Tunesië zelfstandig en kwam er een einde aan de Franse overheersing.