Les premiers artéfacts archéologiques de la présence humaine à Ruhnu, supposée être liée à la chasse au phoque saisonnière, date d'environ 5000 ans avant Jésus Christ. La date de l'arrivée des premiers Scandinaves à Ruhnu et le début de l'habitation permanente de l'île par des populations parlant le suédois reste cependant inconnue. Elle ne précède probablement pas les Croisades baltes du début du treizième siècle, quand les indigènes de toutes les terres entourant le golfe de Rīga ont été converties au christianisme et subjuguées par l'Ordre Teutonique. Le premier rapport documenté de l'île de Ruhnu et de sa population suédoise consiste en une lettre envoyée par l'Évêque de Courlande qui confirme que les insulaires ont le droit d'habiter et d'administrer leur propriété selon les lois suédoises.

Ruhnu fut d'abord occupée par le Royaume de Suède (1621 à 1708, formellement jusqu'en 1721) puis par la Russie jusqu'à la Première Guerre mondiale, quand l'Allemagne Impériale en prit le contrôle (1915-1918). Après la guerre, malgré des initiatives locales pour rejoindre la Suède à nouveau et malgré le fait que la Lettonie revendiquait le territoire, les insulaires acceptèrent de faire partie de la nouvellement indépendante Estonie en 1919. Selon un recensement de 1934, Ruhnu avait une population de 282 habitants, dont 277 d'origine suédoise et 5 d'origine estonienne.

Pendant la Seconde Guerre mondiale, tout comme le reste de l'Estonie, Ruhnu fut occupée par l'ex Union soviétique (1940-1941) puis par l'Allemagne (1941-1944). En novembre 1943, un premier groupe de 75 personnes a été relocalisé en Suède. En août 1944, peu après le début de la seconde occupation soviétique, le reste de la population de l'île, exception faite de deux familles, s'est enfuie à bord d'un bateau à destination de la Suède.

Ruhnu fut repeuplée pendant la seconde occupation par des civils d'origine estonienne et l'île servit également comme base pour une petite garnison de l'armée soviétique. Le nombre d'habitants ne dépassa jamais les 400, et dans les années 1970, après qu'une tempête eut frappé l'île, la plupart des habitants ont été relocalisés. Après que l'Estonie eut retrouvé l'indépendance en 1991, les terres, bâtiments et autres propriétés furent rendues à leurs propriétaires légitimes d'avant l'occupation soviétique ou leurs descendants qui, pour la plupart, étaient principalement des résidents de la Suède. Bien que la plupart ne retournèrent pas vivre à Ruhnu, ils visitèrent malgré tout de temps à autre la terre de leurs ancêtres.