Het Fort of kasteel is een bekende toeristische attractie aan de Côte-d'Emeraude in het noordoosten van Bretagne, een van de meest bezochte kastelen in Bretagne na het kasteel van de hertogen van Bretagne in Nantes. Het indrukwekkende kasteel werd gebouwd op een smalle rotsachtige landtong in de Baai van de Fresnaye in de eerste helft van de 14e eeuw.

Het Kasteel van La rock Goyon werd voltooid in de 14e eeuw door de Bretonse vooraanstaande adellijke familie Goyon of Gouyon-Matignon. De uiteindelijke afwerking gebeurde door de heer van Matignon, Étienne III Gouyon. De bouw begon in 1340. De donjon, de hoofdtoren, dateert uit 1365-1370. Het kasteel werd belegerd door de Franse veldheer Bertrand du Guesclin tijdens de Honderdjarige Oorlog tegen de Engelse bezetters. Tussen 1379 en 1381 keerde het bouwwerk terug naar de heerschappij van hertog Jan IV van Bretagne. In 1390 viel het kasteel weer in Engelse handen, tot de Fransen de Engelsen weer verjoegen.

Het kasteel werd rond 1500 weer belegerd en ingenomen. Deze keer werd het bijna met de grond gelijk gemaakt. Nadien werd het weer in de oorspronkelijke stijl opgebouwd, en bleef zo bestaan tot de 17e eeuw, toen koning Lodewijk XIV het volledig transformeren tot een kustverdedigingskasteel en als bescherming van Saint-Malo en de rondom liggende stadjes, tegen Hollandse en Engelse indringers vanuit zee. In de loop van de achttiende eeuw werd het kasteel een vesting.

Fort La Latte werd alsnog een voorrechtsbezit van de gastheer James II van Schotland in 1715, wiens gebruik van de plaats niet zo goedaardig waren. Hij beschouwde het kasteel als een bedreiging. Tijdens zijn leven heeft het kasteel van Roche Goyon in deze wallen, een oven om de ijzeren ballen te laten bloeien, zijn donjon heeft een opslagruimte voor buskruit. Toen vloog het buskruitmagazijn door een onvoorzichtigheid in de lucht. Het kasteel was ook een gevangenisoord voor contra-revolutionairen tijdens de Franse Revolutie. Ze kwam nog eens, voor de laatste maal deze keer, onder een aanval van 1815, door een groep rebellerende mannen van Saint-Malo, tijdens de "Cent-Jour". Na deze niet-succesvolle aanval van 1815, viel ze binnen een herstellingsperiode die tot op heden duurt. Vandaag is het kasteel teruggekeerd tot haar grootste glorie, waar ze haar vroegere gedaante terug verkreeg als een kasteel uit de 14e eeuw, dat een bezoek meer dan waard is.