Les résultats de fouilles archéologiques ont prouvé que l'île de Saaremaa est habitée depuis au moins cinq mille ans. Dans les vieilles sagas scandinaves, Saaremaa est appelée Eysysla, nom qui a exactement la même signification que Saaremaa en estonien : « la région de l'île ». Ce nom a été transposé en allemand et en suédois pour donner Ösel et en latin Osilia. Le nom Eysysla apparaît conjointement avec Adalsysla, « la grande région », peut-être Suuremaa ou Suur Maa en estonien, qui désigne la partie continentale de l'Estonie. Les sagas relatent de nombreuses escarmouches entre les Osiliens et les Vikings. Saaremaa était la région la plus riche de l'ancienne Estonie et le refuge de nombreux pirates estoniens (que l'on appelait parfois les Vikings estoniens). Les Chroniques de Henri de Livonie décrivent une flotte de seize bateaux et de cinq cents insulaires ravageant le Sud de la Suède (qui était alors danois).

En 1227, Saaremaa fut conquise par les Chevaliers Porte-Glaive lors des croisades baltes mais resta l'un des hauts-lieux de la résistance estonienne. Quand les chevaliers furent défaits par l'armée lituanienne en 1236, les insulaires se rebellèrent. Le conflit fut réglé par un traité signé par les Osiliens et les maîtres de l'Ordre.

Une partie de Saaremaa était directement gouvernée par l'Ordre, tandis que l'autre partie était gouvernée par l'évêché d'Ösel-Wiek, partiellement indépendant. Le 15 avril 1560, l'évêché (dont la partie de Saaremaa qu'il possédait) furent vendus par le dernier prince-évêque, Johannes V von Münchhausen, au Danemark. En 1570, le Danemark acquit le reste de Saaremaa.

En 1645, Saaremaa fut cédée par le Danemark à la Suède par le traité de Brömsebro. En 1721, Saaremaa ainsi que le reste de l'Estonie suédoise fut cédée à la Russie impériale par le traité de Nystad.

Au XXe siècle, Saaremaa fut occupée deux fois par les Allemands. Lors de la Première Guerre mondiale, les îles estoniennes furent conquises en octobre 1917 et occupées (opération Albion) jusqu'à la fin des hostilités.

Saaremaa a connu une rébellion en avril 1919 contre le gouvernement provisoire estonien pendant la guerre d'indépendance de l'Estonie.

L'Estonie devint indépendante après la Révolution russe et la fin de l'empire russe. Le nouvel État fut contraint d'incorporer l'URSS en juin 1940 à la suite du pacte germano-soviétique. Les Allemands réoccupèrent les îles en 1941 (opération Beowulf) puis en furent chassés par l'Armée rouge en novembre 1944 (opération Moonsund).

En 1946, les autorités soviétiques ont déclaré l'île comme zone restreinte fermée aux civils non locaux (Estoniens ou étrangers). L'île est restée fermée jusqu'en 1989.

L'indépendance de l'Estonie fut de nouveau proclamée le 20 août 1991 avec le déclin de l'URSS.

Un descriptif détaillé de l'histoire de Saaremaa est en exposition permanente au musée régional de l'île à Kuressaare.