ג'ורג', נסיך ויילס, שלימים הפך לג'ורג' הרביעי, הגיע לברייטון לראשונה ב־1783, בגיל 21, כשביקר את דודו, הנסיך הנרי, דוכס קמברלנד. הנסיך הנרי, שאהב אוכל משובח, הימורים, תיאטרון וחי בפזיזות, התגורר שם, והיה דמות מפתח בהפיכתה לעיר קייט פופולרית. בביקורו של הנסיך הצעיר, התאכסן יחד עם דודו בברייטון, בבית גרוב. סיבה נוספת להגעתו של הנסיך הייתה עצה של רופאו לפיה הים והאוויר הצח יועילו לעז שלו. בשנת 1786, תחת עננה פיננסית וחקירה של הפרלמנט על הפזרנות שהתחוללה בבניית בית קרלטון שבלונדון, שכר הנסיך בית חווה צנוע, מול סטיין העתיקה, ריאה ירוקה בברייטון ששמשה טיילת עבור מבקרים. הביתן, שהיה מרוחק מהחצר המלכותית בלונדון, היה מיקום דיסקטי עבור הנסיך ליהנות מקשרים פרטיים עם חברתו הוותיקה, מריה פיצרברט. הנסיך רצה להתחתן איתה, ועשה זאת בחשאי מכיוון שדתה הרומית־קתולית אסרה עליו להינשא לה על פי חוק הנישואים המלכותיים 1772.

 חדר הנשפים המעוטר בביתן המלכותי, מתוך "הנופים של הביתן המלכותי" של ג'ון נאש (1826) התקרה של חדר המוזיקה בביתן המלכותי סלון גדול בביתן המלכותי בברייטון, מתוך "הנופים של הביתן המלכותי" של ג'ון נאש (1826)

בשנת 1787, הנסיך הזמין את המעצב של בית קרלטון, הנרי הולנד, כדי להרחיב את המבנה הנוכחי. זה הפך לאגף אחד של הביתן הימי, שמאגף רוטונדה מרכזית, שהכילה שלושה חדרים עיקריים: חדר ארוחת בוקר, חדר אוכל וספרייה, מאובזרים בסגנון צרפתי ממנו הושפע הולנד – סגנון הניאו־קלאסי, עם ציורים מעוטרים של ביאג'יו רבקה. בשנים 1801–1802 הורחב הביתן עם חדר אוכל וחממה[דרושה הבהרה] חדשים, שעיצב פיטר פרדריק רובינסון, שעבד במשרדו של הולנד. הנסיך גם רכש קרקע המקיפה את הנכס, שעליו נבנו בית ספר מפואר ואורוות בסגנון הודי בשנים 1803–1808, לפי עיצובים של ויליאם פורדן, יחד עם גן בצל מפורסם לספק את ההתמכרות הידועה של הנסיך. אורוות אלו אכלסו 60 סוסים ועכבו[דרושה הבהרה] את הביתן הימי.[1]

בין השנים 1815 ל-1822, המעצב ג'ון נאש עיצב מחדש והרחיב מאוד את הביתן, ועבודתו היא שנשמרה עד היום.[2] הארמון בולט באמצע ברייטון, תודות למראהו הייחודי, בסגנון ההודי-אסלאמי. עיצוב הפנים היוקרתי, בעיקר על ידי פרדריק קרייס וצייר העיטורים רוברט ג'ונס, הושפע מאוד מאופנה סינית והודית (עם אלמנטים אדריכליים מוגוליים ואיסלאמיים). זוהי דוגמה מצוינת לאקזוטיקה שהיוותה תחליף לטעם מיינסטרים קלאסי יותר בסגנון ריג'נסי.