Vannes geht zurück auf die gallo-römische Stadt Darioritum. Im Jahr 560 besiegte hier Chlothar I. das Heer des Bretonen Konomor, unter dessen Schutz sich Chlothars Sohn Chram begeben hatte. Nominoë, in der ersten Hälfte des 9. Jahrhunderts Graf von Vannes, gilt manchen Bretonen als erster König der Bretagne. In Vannes endete 1532 mit dem Treffen des französischen Königs Franz I. mit den bretonischen Ständen die Unabhängigkeit des Herzogtums Bretagne. Ab 1675 war Vannes Sitz des bretonischen Parlements. Außerdem ist die Stadt seit dem 5. Jahrhundert Sitz eines Bistums.

Ab 1790 war die Stadt Hauptort eines gleichnamigen Wahlkreises (Kantons). 1982 wurde sie durch die Aufteilung in drei Wahlkreise Chef-lieu von Vannes Centre, Vannes Ouest und Vannes Est.

Ab Juni 1940 war Vannes von Truppen der Wehrmacht besetzt. Am 1. August 1944 begann die Schlacht um die Bretagne. Am 6. August eroberten Truppen der 4. US-Panzerdivision Vannes; dabei half ihnen die Résistance.