Il navigatore portoghese Bartolomeo Dias approdò a Walvis Bay, con la São Cristavão, l'8 dicembre 1487, mentre stava cercando una rotta marina verso l'est attraverso il Capo di Buona Speranza. Egli battezzò la baia "O Golfo de Santa Maria da Conceição", ma non ne rivendicò formalmente il possesso.

Verso la fine del XVIII secolo le baleniere americane iniziarono a battere la zona, che si rivelò estremamente pescosa. Questo fatto suscitò l'interesse degli olandesi, che il 23 gennaio 1793 presero possesso della baia, ribattezzandola Walvisbaai.

Nel 1878 il Regno Unito (allora predominante nel controllo dei mari) annesse Walvis Bay e l'area circostante alla Colonia del Capo, allo scopo di arginare le ambizioni tedesche sulla regione e assicurarsi un punto di scalo strategico. Nel 1910 Walvis Bay divenne parte dell'Unione dell'Africa del Sud. Tuttavia, nacque una contesa fra inglesi e tedeschi sulla definizione dei confini dell'exclave. Nel 1911 tale contesa fu risolta, e agli inglesi andò un'area complessiva, attorno alla baia, di 1.124 km².

Durante la prima guerra mondiale l'enclave di Walvis Bay fu dapprima invasa dai tedeschi, e poi presa dalle forze britanniche del Sudafrica nel 1915. Walvis Bay entrò a far parte dell'Africa del Sud-Ovest, affidata all'Unione sudafricana sotto forma di mandato della Società delle Nazioni. Nel 1977, per evitare che la baia cadesse nelle mani della SWAPO (ostile al governo sudafricano), il Sudafrica riprese formalmente il controllo della baia, ceduta per un breve periodo alla provincia del Capo. Nel 1978, il Consiglio di Sicurezza delle Nazioni Unite iniziò una serie di negoziati bilaterali fra Sudafrica e Namibia per l'attribuzione di Walvis Bay.

Nel 1990, l'Africa del Sud-Ovest ottenne l'indipendenza e nacque la nazione della Namibia. Walvis Bay rimase inizialmente sotto il controllo del Sudafrica, sebbene numerose pressioni fossero esercitate dai gruppi economici locali affinché questo stato di cose venisse corretto a favore della Namibia. La baia, insieme con le isole dei Pinguini, venne finalmente ceduta dal Sudafrica il 28 febbraio 1994, in prossimità delle prime elezioni democratiche sudafricane, quando poi venne eletto a presidente Nelson Mandela.