Wyspa była zasiedlona już 2000 lat p.n.e.[potrzebny przypis] W sagach wyspa jest znana jako Eysysla. Na przełomie XI i XII wieku Sarema była najzamożniejszą z estońskich prowincji. W 1227 podobnie jak sąsiednia Muhu należała do zakonu kawalerów mieczowych. Pod koniec XIII wieku centralna i południowa część wyspy przeszła we władanie biskupstwa Ozylii, a Arensburg stał się drugą co do ważności (po Haapsalu) twierdzą biskupstwa. Po I wojnie północnej (1563) wyspę objęła w posiadanie Dania. Zaledwie 85 lat później, w 1648 roku wyspa została scedowana Szwecji.[potrzebny przypis] Podczas szwedzkiego panowania wyspę zdziesiątkowała epidemia dżumy. W 1710, podczas III wojny północnej Sarema znalazła się w granicach Imperium Rosyjskiego, co zostało potwierdzone podczas pokoju w Nystad. W drugiej połowie XIX wieku wyspa przeżywała swoje prosperity – zostały uruchomione połączenia morskie z Rygą i Petersburgiem (1858). W 1891 w Kuressaare utworzono szkołę morską. W 1896 Saremę połączono z Muhu groblą, na której zbudowano drogę, a w 1912 na wyspie zbudowano elektrownię.

Rosjanie władali wyspą aż do 1917 roku. W październiku 1917 wyspę zdobyli Niemcy (Operacja Albion). Pół roku później, 24 lutego 1918 roku Sarema stała się częścią niepodległej Estonii. Był to wówczas jeden z najintensywniej rolniczo wykorzystywanych obszarów w kraju. Na wyspie istniało wówczas ponad 10 tys. gospodarstw, specjalizujących się głównie w produkcji mleka i jego przetworów. Rybołówstwem zajmowało się jedynie 2 proc. mieszkańców. W 1919 na wyspie otworzono szkołę rolniczą. Na mocy paktu Ribbentrop-Mołotow w czerwcu 1940 roku na wyspę wkroczyła Armia Czerwona. Ponad tysiąc wyspiarzy zostało deportowanych na Syberię. Od października 1941 do 1944 r. wyspa była okupowana przez Niemcy. Przez okres II wojny światowej wielu mieszkańców Saremy zostało wywiezionych do Niemiec bądź też uciekło do Szwecji. Populacja wyspy zmniejszyła się o 1/3. W latach 1944–1990 wyspa należała do Estońskiej SRR. Przeprowadzono kolektywizację rolnictwa. Armia Czerwona zrobiła z wyspy fortecę budując ponad 30 baz wojskowych. Prawa do swobodnego przemieszczania się mieszkańców na wyspę były ściśle ograniczane. Od 20 sierpnia 1991 r. Sarema należy do niepodległej Estonii.