デンマーク王クリスティアン4世は1626年にカステレットの建造を開始し、街の北部の海岸に聖アンネの要塞（Sankt Annæ Skanse）という前線基地を建てた。この要塞は、シェラン島とアマー島の間の海峡の反対側に築かれたばかりのクリスティアンズハウンの北に建てられたブロックハウス（英語版）とともに、港の入り口を護っていた。当時の要塞の北側は、現在のヌレポート駅（英語版）付近までであり、そこから南東に戻り、王立造船所のあるガンメルホルム（英語版）で海岸に接する。しかし、デンマーク王は東側の古い城壁を放棄し、城壁を真っすぐ北に拡張して聖アンネの要塞に接続し、城塞都市の面積を拡げることを画策していた。1640年代半ば、フレデリク3世がクリスティアン4世から王位を継承した後、ようやくこの計画は完成した。

スウェーデンによるコペンハーゲン包囲（1658 - 1660）の後、オランダ王国の技師ヘンリク・ルース（英語版）が招かれ、再建と拡張工事が行われた。この城塞はフレデリク港の城塞（Citadellet Frederikshavn）と名づけられたが、カステレット（「城塞」の意）としてよく知られている[1]。

1807年のコペンハーゲンの戦い（英語版）では、イギリスからコペンハーゲンを防衛する役割を担った。

デンマーク黄金時代の代表的な画家であるクリステン・ケプケはカステレットの出身であり、この地を描いた作品を多く残している。

1940年4月9日、デンマークの戦いにおいて、付近の港に上陸したドイツ軍は、抵抗にあうこともなくこの城塞を占領した。

カステレットは1988年から1999年にかけて、A.P.モラー夫妻の一般基金によって修復された。

 

最上部から360度パノラマ撮影した風景。風車など様々なものが見える