Walesin prinssi, josta tuli myöhemmin kuningas Yrjö IV, vieraili Brightonissa ensimmäisen kerran vuonna 1783, vähän täysi-ikäisyytensä saavuttamisen jälkeen. Merenrantakaupungista oli tullut hienostunut Georgen sedän, Cumberlandin herttuan, asuinpaikan myötä. Prinssi jakoi setänsä kiinnostuksen teatteria, keittotaitoa ja pelaamista kohtaan, ja hän asettui asumaan Royal Pavilioniin setänsä luokse. Lisäksi prinssin lääkäri oli kertonut meriveden olevan hyväksi prinssin kihdille. Vuonna 1786 prinssi vuokrasi vaatimattoman, entisen maatalon Steinestä, Brightonin vehreältä alueelta, jota turistit pitivät huvikävelypaikkanaan. Lontoon kuninkaallisesta hovista etäällä oleva Pavilion oli prinssille hienovarainen paikka hänen ja pitkäaikaisen kumppaninsa, neiti Fitzherbertin, rakkaussuhteelle. Prinssi halusi mennä naimisiin Fitzherbertin kanssa ja he solmivat avioliiton salassa, sillä roomalaiskatolisuus esti Fitzherbertin avioliiton.

Vuonna 1787 Carlton Housen suunnittelija Henry Holland palkattiin laajentamaan olemassa olevaa rakennusta, josta tuli yksi Marine Pavilionin siivistä. Siipi liitettiin keskimmäiseen pyörörakennukseen, jossa oli vain kolme päähuonetta, aamiais- ja illallishuoneet sekä kirjasto. Vuosina 1801 ja 1802 Pavilionia laajennettiin jälleen uudella illallishuoneella ja kasvihuoneella. Prinssi myös osti kiinteistöä ympäröivät maat, joille intialaistyylinen loistelias ratsastuskoulu ja kuuden hevosen talli rakennettiin vuosina 1803–1808.

Vuosina 1815–1822 suunnittelija John Nash laajensi ja suunnitteli Pavilionin uudelleen sellaiseksi, miltä se näyttää vielä tänäkin päivänä. Keskellä Brightonia sijaitseva intialaistyylinen palatsi näyttää upealta, tosin rakennuksen mielikuvituksellinen sisustus on saanut vahvasti vaikutteita sekä kiinalaisesta että intialaisesta tyylistä.[1]