O Príncipe Regente, que mais tarde se tornaria o rei Jorge IV, visitou Brighton pela primeira vez no ano de 1783, pois o seu médico recomendava a água do mar para o tratamento de sua gota. Em 1786 areendou uma casa de lavoura na zona de Old Steine, Brighton.

Estando longe da Corte Real, em Londres, o Pavilion também era um local discreto para o Principe gozar a ligação com o sua companheira de longo tempo, Mrs. Maria Anne Fitzherbert. O Principe desejara desposá-la, e poderá tê-lo feito secretamente; de qualquer forma isso era ilegal devido à sua Religião Católica.

 O ricamente decorado Salão dos Banquetes no Royal Pavilion. Views of the Royal Pavilion (1826) de John Nash.

Henry Holland foi rapidamente encarregado de ampliar o edificio. O Príncipe também comprou terrenos em volta da propriedade, nos quais foram construídos, em 1803, uma grande escola de equitação e estábulos em estilo indiano, desenhados por William Porden.

Entre 1815 e 1822, John Nash redesenhou o palácio, sendo o resultado dos seus trabalhos o que se pode ver na actualidade. O palácio destaca-se particularmente na região de Brighton, tendo uma aparência muito indiana no seu exterior. De qualquer forma, o fantástico desenho interior, primeiramente da forma de Frederick Crace e Robert Jones, é pesadamente influenciado pelas modas chinesa e indiana (com elementos arquitectónicos mogóis e islâmicos). Foi um primeiro exemplo de exotismo, que era uma alternativa ao gosto mais clássico do estilo regência.

 Jardins do Pavillion