Borgen tillkom som en följd av Albert av Rigas och Svärdsriddarordens framgångsrika korståg mot Ösel under 1220-talet, då ön kristnades och införlivades i Terra Mariana. Den äldsta borgen uppfördes, möjligen i trä, mellan 1338 och 1380, även om andra källor hävdar att borgen byggdes så tidigt som 1260.[1][2] Borgen uppfördes som befästning och residens för furstbiskoparna av Ösel-Wiek, vars världsliga furstendöme bland annat omfattade delar av Ösel. Befästningen och orten var då huvudsakligen kända under det tyska namnet Arensburg. När biskopsdömet upplöstes i samband med reformationen och det senare Livländska kriget kom borgen och staden 1559 att komma under den danska kronan. Under den danska epoken moderniserades befästningsverken och en renässansfästning uppfördes omkring kärnborgen.

Slottet och Ösel föll i svenska händer efter freden i Brömsebro 1645 [3] och den svenska kronan fortsatte därefter att bygga ut fästningen. Efter det stora nordiska kriget blev Ösel ryskt och fästningen kom nu att bli ryskt gränsfäste. I takt med den ryska expansionen västerut och den ryska segern i finska kriget 1809 kom behovet av ryska befästningar i Livland att avta, och efter att Bomarsunds fästning på Åland börjat anläggas lades garnisonen i Arensburg ned 1836. Under Krimkriget spelade fästningen inte någon större strategisk roll för striderna i Östersjön.

Slottet användes efter den militära epoken bland annat som fattighus. En större restaurering genomfördes 1904–12 under ledning av arkitekterna Hermann Seuberlich och Wilhelm Neumann. Ytterligare restaureringsarbeten genomfördes under sovjeteran 1968 efter ritningar av Kalvi Aluve.

Sedan 18 april 2002 är borgen uppsatt på Estlands tentativa världsarvslista.[4]