Фортецю почали зводити в останні десятиліття XIII століття за наказом короля Гокона V. Перша письмова згадка про споруду — це лист 1300 року, який король адресував церковникам Осло. Розташована фортеця на мисі в бухті Осло-фіорд. Це було вигідне розташування, адже всі торгові шляхи в Норвегії в ту епоху пролягали по воді. Але все ж головною функцією цієї споруди був захист Осло, який при Гоконі V остаточно утвердився в якості столиці Норвегії. У 1360-х роках в замку оселився король Гокон VI, після чого у фортеці відбулося масштабне будівництво.

Впродовж всього свого існування фортеця піддавалася величезній кількості атак, але жодного разу не була узята штурмом чи підкорена в результаті облоги. Вперше Акерсгус штурмував у 1308 році Ерік Магнуссон, який через деякий час став фактичним правителем Швеції, проте згодом облога була знята завдяки перемозі норвезьких воїнів у битві при Осло. Також страждала фортеця і від пожежі у 1527 році, яка розпочалася через удар блискавки під час грози.

У XVI столітті комендант Педеро Літле взявся масштабно перебудовувати замок. Він відновив південне та північне крило, а також оновив вежі Кнута та Дівочу. Наступний комендант, данець Крістен Мунк теж змінював архітектурний вигляд замку: додав замкову каплицю та вежу Мунка, а також обладнав бійницями та гарматами частину фортечної стіни.

Кардинальна зміна фортеці Акерсгус відбулась у 1590-х роках, під час правління короля Крістіана IV, тому що цього вимагав розвиток військової техніки. Цим займався фламандський архітектор Ганс ван Стенвінкель, який перетворив замок з середньовічної цитаделі в ренесансну будівлю. Також у цей період ближче до фортеці було перенесено все місто, яке перейменували у Крістіанію. Зараз забудову того часу, що примикає до замку з півночі, називають районом Квадратуре.

У 1640-х роках фортецю перебудовували під керівництвом голландського інженера Ісаака ван Гількеркера. Він створив бастіони у внутрішній частині фортеці, а також зовнішні східні укріплення. Проте наприкінці XVII — середині XVIII століття замок став занепадати і над нам нависла загроза знесення. Проте генерал Міхаель фон Сундт наполіг на реставрації старовинного об'єкту.

У 1820-х роках замок почали використовувати як королівську в'язницю. У ній одночасно перебувало понад п'яти сотень ув'язнених.

У кінці XIX століття Акерсгус знову ледь не потрапив під знесення, проте цей історичний пам'ятник відстояли городяни. Його реставрували впродовж кількох десятиліть відомі архітектори: Петера Блікса, Голгера Сіндінг-Ларсена, Арнстейна Арнеберга та інших. Завершилися реставраційні роботи в 1960-х роках, тоді ж замок Акерсгус відкрили для туристів.