ქალაქი ძვ. წ. I საუკუნის შუა წლებში დაარსდა. ამბობენ, რომ მას სახელი ეწოდა ქალღმერთ ვენერასგან, რომლის რჩეული ადგილიც ის კონცხი იყო, სადაც დღეს წმინდა პეტრეს ეკლესია დგას. სახელს ასევე უკავშირებენ განდეგილ ბერს, წმინდა ვენერიუსს. რომანულ პერიოდში, ეს ქალაქი ძირითადად მეთევზეთა გაერთიანებას წარმოადგენდა.

დასავლეთ რომის იმპერიის დაცემის შემდეგ, პორტოვენერე ბიზანტიური ფლოტის ბაზა გახდა ტირენიის ზღვაში, მაგრამ ის 643 წელს ლომბარდიელებმა დაანგრიეს. 1494 წელს, გენუის ომის მიმდინარეობისას, ქალაქი არაგონების ფლოტის მასიური თავდასდხმის ობიექტი გახდა.