Op weg om rond Afrika naar India te varen, kwam Bartolomeu Dias op 8 december 1487 aan in de natuurlijke baai van Walvisbaai. Hij noemde de baai O Golfo de Santa Maria da Conceição. De Portugezen deden verder geen moeite om de baai voor zich te behouden.

In 1793 namen de Nederlandse autoriteiten van de Kaapkolonie bezit van Walvisbaai. In 1878 eisten de Britten het op. Tijdens de Conferentie van Berlijn (1884-'85) werd Walvisbaai erkend als Britse enclave in de Duitse kolonie Duits-Zuidwest-Afrika.

In 1910 ging Walvisbaai samen met de Kaapkolonie op in de Unie van Zuid-Afrika, een zelfbesturend deel van het Britse Rijk. In 1911 werden met Duitsland de precieze grenzen van de enclave bepaald. Het gebied besloeg een oppervlakte van 1124 km² tussen de riviermondingen van de Swakop en de Kuiseb.

Na het uitbreken van de Eerste Wereldoorlog namen Zuid-Afrikaanse troepen de macht over in Namibië en vormde Walvisbaai onderdeel van het door Zuid-Afrika geregeerde Zuidwest-Afrika. Na de onafhankelijkheid van Namibië in 1990 behoorde de enclave nog tot en met 28 februari 1994 tot Zuid-Afrika. Per 1 maart 1994 is de enclave opgegaan in Namibië.