Op deze plek is al in de 12e eeuw voor het eerst een kapel gebouwd. In de 14e en 16e eeuw vonden grote uitbreidingen plaats. In de Engelse Burgeroorlog was het een belangrijke en symbolische vesting voor de Schotten. In 1651 werden de Schotse kroonjuwelen naar het kasteel overgebracht. Na een beleg van acht maanden door de Engelsen viel het kasteel.

In de jaren daarna diende het kasteel onder meer als gevangenis. In de loop van de 18e eeuw is het kasteel verlaten en raakte het vervallen.