Небольшой храм был построен в X веке. Как предполагают ученые, строителями часовни были тамплиеры. При археологических раскопках на территории острова были найдены средневековые погребения, датируемые IX и XII веками.

Помимо религиозного значения, остров Гастелугаче является важным стратегическим объектом. Здесь в 1334 году произошли столкновения правителя Бискайи Хуана Нуньеса де Лара и Короля Кастильи Альфонсо XI.

В 1593 году остров был атакован и разграблен Фрэнсисом Дрейком.

В XVIII веке Гастелугаче подвергся нападению со стороны английских войск во время гражданской войны в Испании. Неподалёку с островом состоялась морская битва при мысе Мачичако (Matxitxako).

10 ноября 1978 года на острове случился пожар и часовня почти полностью выгорела. Два года спустя 24 июня 1980 года часовня вновь была торжественно открыта.