Der Prince of Wales besuchte Brighton erstmals 1783, kurz nachdem er die Volljährigkeit erreicht hatte. Die an der Küste gelegene Stadt wurde bekannt durch seinen Onkel, Henry, Duke of Cumberland and Strathearn, mit dem er die Vorlieben für Kochkünste, Spiele und Theater teilte, und mit dem er in Brighton im Grove House lebte. 1786 mietete er sich ein bescheidenes Farmhaus im Ort, als Liebesnest für sich und seine Mätresse Maria Fitzherbert. 1787 erwarb er dieses und ließ es zunächst von Henry Holland in klassizistischem Stil erweitern. Das Anwesen wurde zum sogenannten Marine Pavilion ausgebaut, der sich beiderseits einer zentralen Rotunde erstreckte, das ursprüngliche Haus bildete einen der Seitenflügel. Der Prinz erwarb auch das Umland. 1801–02 wurde das Gebäude vergrößert und 1803–08 durch William Porden um eine Reitschule und Ställe in indischem Stil ergänzt. 1815–22 baute John Nash den Pavilion zur heutigen Größe aus und gestaltete ihn im Stil eines indischen Mogulpalastes im Inneren und Äußeren um. Die Innenausstattung ist in einem chinesischen Stil gehalten.[1]

Nach dem Tod des Erbauers im Jahre 1830 wurde der Palast zwar noch von seinem Nachfolger William IV. genutzt. Dessen Nachfolgerin, Königin Victoria, fand allerdings keinen Gefallen an der Residenz. Sie bedauerte den Mangel an Privatsphäre in dem Seebad und besuchte Brighton, das seit 1841 von der Eisenbahn erschlossen und entsprechend populär geworden war, nur ungern. Für Familienurlaube erwies sich der Pavilion auch deshalb als ungeeignet, weil die Kinder nicht nach draußen konnten, ohne ständig den Blicken von Neugierigen ausgesetzt zu sein. Daher erwarben Königin Victoria und Prinz Albert 1845 das Osborne House auf der Isle of Wight.[2] Ab 1845 plante die Regierung deshalb, den Palast zu verkaufen; 1850 ging er für £53.000 an die Stadt Brighton.[3] In der Folge diente das Gebäude zu Versammlungszwecken, während des Ersten Weltkriegs dann als Lazarett für verwundete Soldaten aus Indien und Westindien. Seit dem Zweiten Weltkrieg hat die Stadt große Anstrengungen unternommen, den Pavillon originalgetreu zu restaurieren.