Fundada a finales del siglo I a. C., la ciudad galorromana se emplazaba en la colina de Boismoreau, dominando la ría. Con el nombre de Darioritum, se organizaba en torno a un amplio foro, centro del poder administrativo y político de la tribu de los veneti, una tribu comúnmente asociada con los galos que fue derrotada por Julio César en el 56 a. C. No es seguro que estos venetos y los pueblos homónimos del norte de Italia sean los mismos, aunque es más que probable. El puerto favorecía la actividad comercial de la ciudad. A fines del siglo III d. C. se construyó un castro en la vecina colina de Mené.

Desde el siglo V Vannes se convierte en sede episcopal. La ciudad se desarrolló en torno a los dos polos de las colinas de Mené —donde se edificó la catedral— y de la colina de Boismoreau. Este último núcleo se abandonaría en la Alta Edad Media.

En los siglos XII y XIII se produjeron obras de renovación de la ciudad: se reconstruyó la catedral, se mejoraron las murallas y se estableció una red viaria centrada en torno a los edificios principales. Al final de la Edad Media, Vannes era una de las principales ciudades bretonas.

En 1419 falleció en Vannes San Vicente Ferrer, patrón de la ciudad, que está enterrado en el coro de su catedral.[1]

Entre 1675 y 1689 el parlamento de Bretaña fue obligado a abandonar su sede habitual en Rennes, pasando a Vannes. Este hecho impulsó la edificación de nuevas construcciones, sobre todo en el sur de la ciudad. También se estableció una red de distribución de agua potable y se construyeron paseos arbolados que embellecieron la ciudad.

El ferrocarril llegó en 1862.