Staden grundades för över 2000 år sedan av veneter, en västkeltisk stam. Vannes hette då Darioritum. Veneterna besegrades av Julius Caesar 54 f.Kr. i samband med att Caesar invaderade England.

På 200-talet uppfördes murar som omgärdade fem hektar av stadens yta. Staden gynnades av sin hamn och det fördelaktiga läget vid havet. På 500-talet blev den biskopssäte och på 1100-talet uppfördes en katedral, Cathédrale Saint-Pierre. På 1300-talet utvidgades de[förtydliga] av Johan IV, hertig av Bretagne till skydd under Bretonska tronföljdskriget. Hamnen skyddades också av murar och torn med bröstvärn och stupgluggar. 1419 dog Vicente Ferrer som ligger begravd i katedralen och är stadens skyddshelgon.