Het eiland werd in de 15e eeuw ontdekt door de Portugezen. In 1617 werd het gekoloniseerd door de Nederlanders die het tegen geringe kosten hadden gekocht van een chef van de Lebu, de lokale etnie. Een tijdlang was het in het bezit van de West-Indische Compagnie. Over de etymologie van de Franse benaming Gorée bestaan twee versies. Een zou verwijzen naar het Zuid-Hollandse voormalig eiland Goeree, een andere naar 'Goe Ree' oftewel Goede Rede.

De WIC bouwde twee forten op het eiland: Fort Nassau op de basaltrots en Fort Oranje beneden, ter hoogte van Rue Saint Joseph. In 1663 verloren de Nederlanders het eiland aan Engeland. Het jaar daarop heroverde Michiel de Ruyter het. In 1677 kwam het eiland in Franse handen.[2] In 1758 werd het weer Engels. In 1763 moesten de Engelsen het teruggeven aan de Fransen volgens de bepalingen van het Verdrag van Parijs. Later, na de val van Napoleon I, voegden de Fransen het bij hun kolonie Senegal. Gorée ontluikte als een belangrijk commercieel en militair centrum. Verder werd Gorée een van de Vier Gemeenten. Twee oude kustbatterijen bewaken er de haven: De Britten bouwden er een in 1785, de Fransen bouwden het fort D'Estrées – tegenwoordig het Historisch Museum. Het eiland bleef Frans tot de onafhankelijkheid van Senegal in 1960.

Door de invloeden van de verschillende overheersers (Portugezen, Hollanders, Britten en Fransen) heeft het eiland een bijzonder karakter. De felgekleurde huizen geven het een mediterrane tint, de architectuur heeft ook Arabische kenmerken. Er valt veel te zien waaronder verder nog het stadhuis, het Museum van de Zee, het nog niet gerestaureerde bestuursgebouw uit 1864, de Jardin Carré, het hospitaal, het Museum van de Vrouw in het fraaie huis van Victoria Albis, de kerk met smeedijzeren trap uit 1830, de moskee uit 1892, op de basaltrots de gemonteerde kanonnen van de Franse kruiser Vergniaud en het uitzicht.[3] Op het eiland wonen 1200 mensen van wie 800 moslims en 400 christenen.