Valižanski princ, ki je nato postal kralj Jurij IV., je prvič obiskal Brighton leta 1783, ko je bil star 21 let. Obmorsko mestece je postalo modno zaradi prebivališča Jurijevega strica, princa Henrika, vojvode Cumberlandskega, katerega okus za hrano, igre na srečo, gledališče in hitro življenje je pritegnil mladega princa, ter je z njim živel v Brightonu v Grove House. Poleg tega je valižanskemu princu zdravnik svetoval življenje v morskem okolju, saj naj bi koristilo proti protinu. Ob finančni preiskavi parlamenta zaradi potratnosti pri gradnji graščine Carlton House v Londonu leta 1786 je princ najel do tedaj skromno kmetijo s pogledom na Steine, travnato površino Brightona, ki se je uporabljala kot promenada za obiskovalce. Zaradi oddaljenosti od kraljevega dvora v Londonu je bil paviljon diskretno mesto za prinčev užitek, povezan z njegovo dolgoletno spremljevalko Mario Fitzherbert. Princ se je želel poročiti z njo v tajnosti, saj ji je katoliška vera prepovedovala poroko z njim v skladu z zakonom o kraljevskih porokah (Royal Marriages Act, 1772).

 

Bogato okrašena banketna soba v Kraljevem paviljonu iz Nashevih Pogledov na Kraljevi paviljon(1826)

Leta 1787 je princ naročil oblikovalcu graščine Carlton House Henryju Hollandu, naj poveča obstoječo zgradbo. Eno krilo je postalo Morski paviljon (Marine pavilion), prislonjen na osrednjo rotundo, s tremi glavnimi sobami: zajtrkovalnico, jedilnico in knjižnico, opremljene so bile v Hollandovem francoskem neoklasicističnem slogu z dekorativnimi poslikavami Biagia Rebecce. Leta 1801 in 1802 je bil paviljon razširjen z novo jedilnico in zimskim vrtom po projektu Petra Fredericka Robinsona, ki je delal v Hollandovi pisarni. Princ je kupil tudi zemljišče okoli posesti, na katerem je leta 1803 in 1802 zgradil veliko šolo jahanja in hleve v indijskem slogu po projektu, ki ga je zasnoval William Porden. To je bil prostor za 60 konj in je zasenčil Morski paviljon. [1]

Med letoma 1815 in 1822 je oblikovalec John Nash prenovil in močno razširil paviljon in to njegovo delo je še danes vidno. Palača je presenetljiva, stoji sredi Brightona, z indijsko-islamsko zunanjostjo je enkratna. Sanjava notranja oprema predvsem Fredericka Craca in malo znanega dekorativnega slikarja Roberta Jonesa je močno vplivala na kitajsko in indijsko modo (z mogulskimi in islamskimi arhitekturnimi elementi). Je odličen primer eksotike, ki je bila alternativa bolj klasicističnemu večinskemu okusu v slogu regentske arhitekture.