ביולי 1789, העביר המלך ג'ונגג'ו, המלך ה-22 של שושלת ג'וסון, את קברו של אביו מיאנג'ו (אנ') (양주) עד לגבעת פלדלסאן (팔달산) במקום שכיום שוכנת בו העיר סוואן. אביו של ג'ונגג'ו היה הנסיך סאדו, שהוצא להורג על ידי אביו שלו, המלך יאונגג'ו, באוגוסט 1761 בשל התנהגות מבישה.

על ידי העברת הקבר למקום מיוחד מאוד התכוון ג'ונגג'ו לכבד ולשקם את זכר אביו. אבל זה לא הספיק לו, הוא תכנן לייסד עיר חדשה ליד הקבר, לבנות מבצר ולהעביר את מקום מגוריו לשם. כפי שציין דו וון צ'ו, מומחה לשימור מונומנטים, בעבודת הגמר שלו ב-2010, נראה שהמלך ג'ונגג'ו תכנן את הוואסאונג כמרכז מסחר, "משום כך הוא קידם פעילות כלכלית באופן פעיל". בנוסף, הוואסאונג בוודאי נועד גם להפגין כוח כלכלי וצבאי ולבסס את התביעה למנהיגות חברתית ותרבותית במדינה. דוגמאות כוללות: הקמת הספרייה המלכותית (규장각, Gyujanggak) והצבת חיל מצב (장용 엉, Jangyongyeong) בהוואסאונג, שניהם במהלך המחצית הראשונה של שלטונו, שנמשכה מ-1776 עד 1800. ג'ונגג'ו חשש מהתקפות צבאיות אפשריות מסיאול. המתחים בתוך המעמד הפוליטי והמשפיע במדינה של אז היו כנראה הסיבה לכך. ג'ונגג'ו ניסה לבנות מרכז כוח חדש עם הוואסאונג ובחודש השני של 1797 (לפי לוח שנה ירחי) נתן לעשרים המשפחות העשירות ביותר בסיאול תמריץ לעבור להוואסאונג ולבנות שם את הבסיס שלהן למסחר שהפעילו.

ג'ונגג'ו הפקיד את תכנון המבצר בידי הפילוסוף והאדריכל ג'אונג יאק-יונג (정약용) ב-7 בינואר 1794. בניית מבצר הוואסאונג, שתוכננה במקור להימשך 10 שנים, הושלמה תוך שנתיים וחצי, ב-10 בספטמבר 1796. מערכת תגמול חדשה, שהתחשבה בביצועי העבודה של הפרט, במקום צורך לעבוד בכפייה כבעבר, אפשרה את הקיצור הניכר של זמן הבנייה.

לאחר השלמת המבצר התפתחה העיר בתוך המבצר. לפי החלוקה המנהלית של הערים בתקופת שושלת ג'וסון היה גם שם העיר הוואסאונג, מאוחר יותר שונה שמה לסוואן, מחולקת בתוך המבצר לארבע נפות מצפון, מזרח, דרום ומערב ומחולקת בשני רחובות מצטלבים. מאה שנים מאוחר יותר, תוכנית פרצלציה של המבצר, שנערכה לראשונה על ידי הממשלה הקולוניאלית היפנית ב-1911, הראתה שהמבנה ההיסטורי של המבצר והעיר היה עדיין שלם באותה תקופה.

במהלך התקופה הקולוניאלית היפנית (1910–1945), המבצר והעיר איבדו חלק מהמבנים ההיסטוריים שלהם או שהם עברו שינויים ונעשו בהם שימושים אחרים. לדוגמה, ארמון האינגגונג (행궁) נהרס מסיבות פוליטיות ובית החולים המחוזי גייאונגגי-דו (Gyeonggi-do) נבנה במקומו.

במהלך מלחמת קוריאה, הייתה לחימה עזה על העיר סוואן בשל חשיבותה האסטרטגית. היא נכבשה על ידי כוחות קוריאה הצפונית ב-1 ביולי 1950, ונכבשה מחדש על ידי כוחות בעלות הברית בספטמבר. חלקים גדולים מהעיר ומהמבצר נהרסו בלחימה, כמו שערי ג'אנגנמון (장안문) וצ'אנגניונגמון (창 뇽문) וחלקים מהחומה.

אף על פי שהשחזור נערך בחלקים כבר ב-1964, נדרשו עוד אחת עשרה שנים לבנות מחדש נאמנה את רוב חלקי המצודה בפרויקט שיקום רחב היקף שנמשך בין השנים 1975 עד 1979. עבודות תיקון ושיקום נוספות בוצעו בשנות ה-80 וה-90 של המאה ה-20, למשל ארמון האהאינגגונג שוחזר במהלך תקופה זו.

המבצר התווסף לרשימת ציוני דרך היסטוריים בינלאומיים בהנדסה אזרחית של האגודה האמריקאית להנדסה אזרחית (אנ') בשנת 2004.