1783年、摂政皇太子がブライトンの浜辺を気に入り、農園の館を別荘として借りたのがロイヤル・パビリオンの始まりである[1]。ブライトンは当時まだ小さな鄙びた村だったが、1750年に「海水浴」を健康法として初めて唱えた英国人医師リチャード・ラッセルの診療所兼邸宅があり、これをきっかけに上流・中流階級の人々の保養地として人気を集め始めていた。そこに皇太子が別荘を持ったことで高級リゾート地としての地位を確立した[2]。

1787年に、皇太子はヘンリー・ホランドに改装を命じ、新古典主義の外装にバロック様式の内装を持つ離宮を完成させた[1]。1802年、建物が増築され新しいダイニングルームと温室が造られた。1808年には敷地が拡大され、大型の馬小屋が建てられた。

その後、中国製の壁紙を贈られたことを契機に、当時流行していたシノワズリーを取り入れたものに全面改装することを決め、ピクチャレスクの代表的建築家であるジョン・ナッシュ の設計で1815年から7年をかけて大改修を行なった。ピクチャレスクは多様なスタイルを取り入れる折衷主義と意外性を特徴としていたことから、インド、イスラム、中国を混合した独特なデザインのエキセントリックな宮殿が完成した。

ジョージ4世は快楽王、放蕩王と呼ばれるほど遊びと浪費が好きで[3]、離宮建設にも、また完成後の社交にも莫大な経費が使われた。それによって、建築や工芸、あるいはファッション、音楽といった芸術面に多大な貢献をした一方、英国王室に大きな経済的損害を与えた[4]。