הגלריה הלאומית של פרוסיה נוסדה בשנת 1861 בעקבות תרומה של 262 תמונות שנתרמו על ידי הבנקאי יוהאן היינריך ואגנר. האוסף הוצג באקדמי דר קונסט. המבנה הנוכחי, שצורתו כצורת מקדש רומי נבנה על פי תוכניות של האדריכל פרידריך אוגוסט שטילר בשנת 1865 בהתבסס על תוכנית ראשונית שהכין מלך פרוסיה פרידריך וילהלם הרביעי. המבנה הוקם בין השנים 1869–1876 בפיקוחו של היינריך סטראק.

המבנה ניזוק באופן קשה בהפצצות האוויר במלחמת העולם השנייה. חלקי המבנה שלא ניזוקו נפתחו לציבור בשנית בשנת 1949 אולם שיקום המבנה נמשך עד שנת 1969 בשל קשיים למצוא תקציבים לשיקום. בין השנים 1998–2001 שופץ המבנה בשנית, ונוספו אולמות תצוגה בקומתו העליונה של המבנה בהם מוצגים ציורים בסגנון רומנטי.