Archäologischen Funden zufolge (Steinwerkzeuge und Keramik) war die Gegend um Tossa de Mar bereits im Neolithikum besiedelt. In dem Gebirge um Tossa findet sich mit den Paradolmen d’en Garcia und Paradolmen de Ses Rates steinzeitliche Gräber. Eine römische Siedlung mit iberischem Vorläufer wurde 1914 am heutigen westlichen Ortsrand entdeckt. Die Ausgrabungen von 1934 förderten die Ruinen einer Ölmühle, einer Villa, einer Therme sowie Münzen aus dem 1. bis 4. nachchristlichen Jahrhundert zu Tage. Von einem Fußbodenmosaik sind uns der Name der Siedlung – Turissa – sowie des Villenbesitzers – Salvo Vitale – überliefert.

Im frühen Mittelalter erscheinen die Besitzverhältnisse Tossas in einigen Dokumenten. 966 trat Graf Miró von Barcelona das Gelände an die Benediktiner-Abtei Santa Maria de Ripoll ab; diese behielt die formale Hoheit über das Umland bis zum Ende des Feudalismus in Spanien 1835. 1187 verlieh der Abt von Ripoll Tossa de Mar Stadtrecht.

Zwischen dem 12. und 14. Jahrhundert wurde die Siedlung ummauert und mit 7 Befestigungstürmen versehen. Auf dem Hügel Guardí entstand eine Kirche, deren Ruine noch teilweise erhalten ist. Die Festung zum Schutz gegen Piraten wurde im 16. Jahrhundert unter Philipp II. oben auf dem Hügel durch einen Wachturm, genannt Torre dels Moros („Mauren-Turm“), erweitert.

Um 1500 wurden die ersten Häuser außerhalb der Stadtmauern überliefert, und in den nächsten Jahrhunderten setzte sich die Expansion des Ortes innerhalb seiner natürlichen Grenzen zwischen den Felsgebirgen fort.

Bis vor dem Zweiten Weltkrieg waren Land- und Forstwirtschaft die Haupteinnahmequellen von Tossa de Mar. Kork wurde weltweit exportiert und der lokale Wein war ebenfalls sehr geschätzt. Fischfang lag, obwohl der Ort an der Küste liegt, nur an dritter Stelle und ist heute noch der Lebenserwerb einiger weniger lokaler Familien. In der ersten Hälfte des 20. Jahrhunderts entdeckten Literaten und Künstler die pittoreske Kulisse des Ortes; denn es handelt sich um die einzige Küstenstadt an der Costa Brava, deren Stadtbefestigung um den historischen Altstadtkern fast noch komplett erhalten ist. Marc Chagall, der die Szenerie von Tossa in den 1930er Jahren häufig zu seinem Motiv wählte, nannte die Stadt Das blaue Paradies.

Der touristische Aufschwung der Gemeinde begann, nachdem in Tossa 1951 der Film Pandora und der Fliegende Holländer mit Ava Gardner und James Mason gedreht worden war. Am Bauboom der 1960er und 1970er Jahre zum Aufbau des Pauschaltourismus an der Costa Brava hatte Tossa de Mar kaum teil; jedoch stößt die Infrastruktur in den Spitzenzeiten der Sommermonate, in denen Tossa das Zehnfache seiner Einwohnerzahl an Besucherströmen zu verkraften hat, an seine Kapazitätsgrenzen. Nachdem der Hauptstrand mittlerweile zusätzlich für Freizeitboote geöffnet wurde, ist er in den beiden Sommermonaten hoffnungslos überlaufen.