הקיסר צ'יינלונג, הבונה המקורי של ארמון הקיץ הקיסרית האלמנה צה שי, הדיירת הידועה ביותר של ארמון הקיץ

האגם, המשתרע כיום על שלושה רבעים משטח האתר, היה בעבר קטן יותר ושימש, במשך יותר מ-3,500 שנים, כמאגר למי שתייה ומי השקיה לשדות שבסביבה.[1] לפני כ-800 שנים העביר הקיסר הָאילִינְגְוָאנְג (שלט 1161-1150) משושלת ג'ין את בירת השושלת מחְווֵינִינְג (会宁) שבמנצ'וריה ליאנג'ינג (כיום בייג'ינג) ובנה את ארמונו - "ארמון הר הזהב" - במקום בו מצויה כיום גבעת אריכות הימים. החל מתקופתו היה המקום ידוע כאתר נוף טבעי,[1] וביקור במקום בחודש אפריל היה מנהג מקובל.[2]

בתקופת שושלת יואן המונגולית שונה שם הגבעה מ"הר הזהב" ל"הר הכד" (וֶנְגְשָׁאן) על בסיס אגדה לפיה מצא נוסע כד מלא אוצרות בתוך סלע שביקע על הר הזהב. הכד הוצב על ההר וצורף אליו שיר בן שתי שורות ובו הנבואה כי בעת שהכד יוזז ממקומו תחל הידרדרותו של הקיסר. הכד נעלם בתקופת שלטונו של הקיסר גְ'יָאגִ'ינְג (שלט 1567-1521) משושלת מינג, ואכן בתקופת שלטונו חלה הידרדרות במצב הקיסרות.

גְווֹ שׁוֹאוּגִ'ינְג (郭守敬 בפין-יין Guō Shǒujìng‏; 1316-1231), אסטרונום ומהנדס מפורסם בתקופתו, שהיה אחראי על מפעלי ההשקיה, הציע ב-1291 לתעל את כל מי המעיינות שבסביבה, ובהם מעיין מצ'אנגפינג (昌平區), כ-50 ק"מ צפונית לבייג'ינג, להר הכד. המים שהוזרמו לרגלי הר הכד הרחיבו את האגם שלמרגלותיו על מנת שישמש כמאגר עבור בירת שושלת יואן (אז חאנבליק או דאדו, כיום בייג'ינג). שם האגם שונה ל"אגם וֶנְגְשָׁאן" (אגם הר הכד).

בתקופת שושלת מינג נבנה מקדש בצדה הדרומי של גבעת אריכות הימים, והקיסר גֶ'נְגְדֶה (שלט 1521-1506) בנה על גדת האגם ארמון, אותו כינה "גן נאה ליהנות מההרים" (הָאוֹשָׁאנְיְוֵּאן), והחזיר את שם הגבעה והאגם ל"הר הזהב" ו"ים הר הזהב". כאשר השתלטה שושלת צ'ינג על בייג'ינג באמצע המאה ה-17 שונה שם הארמון ל"ארמון הר הכד".

החל בקיסר קאנגשי (שלט 1722-1661) וכלה בקיסר צ'יינלונג (שלט 1796-1735) בנו הקיסרים משושלת צ'ינג כמה גנים קיסריים סביב בייג'ינג. ארמון הקיץ היה האחרון בהם. בשנת 1750 הורה הקיסר צ'יינלונג להקים גן במקום. לשם כך הורה להרחיב את שטח האגם ולהשתמש בעפר שפונה משם כדי להגדיל את הגבעה. שמות הגבעה והאגם שונו פעם נוספת ואחרונה. הגבעה קיבלה את השם "גבעת אריכות הימים", לכבוד יום הולדתה ה-60 של אמו של הקיסר, ושם האגם שונה לאגם קונמינג, לזכר אגם קונמינג בצ'אנג-אן (כיום שיאן) שבו נהג הקיסר ווּ (שלט 87-141 לפנה"ס) משושלת האן לערוך תרגילים צבאיים ימיים. העבודה על הגן נמשכה בין 1750 ל-1769 והקיסר קרא לו בשם "גן האדוות הצלולות" (清漪園 בפין-יין Qīngyī Yuán).[3]

ב-1860, במסגרת מלחמת האופיום השנייה, כבש צבא משותף בריטי-צרפתי את בייג'ינג. הקיסר שְׂייֵנְפֶנְג, הקיסר השביעי משושלת צ'ינג, נמלט צפונה לצ'נגדה. קודם לכן ניסו הבריטים לנהל איתו משא ומתן, אולם תוך כדי המשא ומתן אסרו הסינים את השליחים הבריטים, עינו אותם והוציאו להורג חלק מהם. בתגובה החליט לורד אלגין, שעמד בראש חיל המשלוח הבריטי, להעניש את הסינים. כדי להבטיח שמאורע כזה לא ישנה, הוא הורה על הרס מוחלט של שני הארמונות של שושלת צ'ינג מחוץ לבייג'ינג: "הגנים של הזוהר המושלם" (Yuánmíng Yuán מכונים גם ארמון הקיץ הישן) וגן האדוות הצלולות. שני האתרים נבזזו ביסודיות, ואחר כך הועלו באש כל המבנים, למעט הביתנים מארד ופגודות האבן. אירוע זה נחשב עד היום בסין לדוגמה לברבריות של כוחות זרים ולהשפלה לאומית.

לאחר נסיגת הכוחות הזרים חזרו הקיסרים להתגורר בעיר האסורה. גן האדוות הצלולות הוקם מחדש, על פי התוכניות המקוריות של הגן, בין 1886 ל-1895, על פי הוראתו של הקיסר גוָאנְגְשׂוּ, הקיסר האחד-עשר משושלת צ'ינג, עבור דודתו - הקיסרית האלמנה (והשליטה בפועל על סין) - צה שי. ב-1888 העבירה צה שי 30 מיליון טאאלים של כסף שנועדו במקור לחיזוק הצי הסיני להרחבה ושחזור הגן תוך חיקוי של אתרי גן נודעים בדרום סין (האנגג'ואו וסוג'ואו) ושינתה את שם הגן ל"גן הבריאות וההרמוניה" (אם כי מאנגלית מקובל השם ארמון הקיץ של הקיסרית צה שי). מאז התגוררו הקיסר גוָאנְגְשׂוּ והקיסרית צה שי לסירוגין בעיר האסורה ובארמון הקיץ. ב-1898 הורתה צה שי לאסור את גוָאנְגְשׂוּ והוא נכלא בביתו שבארמון הקיץ.

ב-1900 פרץ בסין מרד הבוקסרים, שכוון כנגד המעצמות הזרות והסינים הנוצרים (כעושי דברן) וקיבל בדיעבד את תמיכת הקיסרית בפועל צה שי. בסופו של דבר הביס כוח משלוח של שמונה המעצמות הזרות את המורדים, ושוב, כפי שאירע 40 שנה קודם, הרס כוח המשלוח מבנים בארמון הקיץ, וכל חפצי הערך נבזזו. צה שי, שנמלטה לשיאן לאחר שכוח המשלוח התקרב לבייג'ינג, חזרה ב-1902 והורתה לבנות מחדש את הגן בעלות שהגיעה ל-40,000 טאאלים של כסף ליום.

לאחר מהפכת שינהאי ב-1911, שבה ויתר פויי, הקיסר האחרון משושלת צ'ינג, על כיסאו, הפך ארמון הקיץ להיות רכושו כאדם פרטי. ב-1914 הוא פתח את הארמון לביקורים. ב-1924 הוכרח פויי לעזוב את העיר האסורה במצוות הגנרל פֶנְג יוּשְׂיָאנְג. הגן הפך לפארק ציבורי, אלא שאיש לא טיפל בו, הצמחים בגנים נבלו והביתנים נבזזו ונהרסו. חלק מאוצרות הארמון נקנו על ידי אנשים פרטיים וחלקם נלקחו לטאיוואן עם נסיגת כוחות הקוומינטנג בראשות צ'יאנג קאי שק מסין לאחר תבוסתם לקומוניסטים בראשות מאו דזה-דונג ב-1949.

מ-1949 משוחזר הגן בהדרגה למצבו בתקופת הקיסרות, כשבשנים האחרונות משחזרים מבנים שנהרסו ב-1860 ולא שוקמו מעולם אחר-כך. הארמון הוא כיום אחד ממוקדי המשיכה התיירותיים של בייג'ינג, ומבקרים בו יותר מ-2 מיליון תיירים בשנה.[2] ב-1998 הוכרז ארמון הקיץ על ידי אונסק"ו כאתר מורשת עולמית.