הגלריה ממוקמת במבנה נאו קלאסי הניצב בראש גבעה שבין שני חלקי גני רחוב הנסיכים. המבנה תוכנן על ידי ויליאם הנרי פלייפייר, אבן הפינה של המבנה הונחה על ידי הנסיך אלברט ב-30 באוגוסט 1850, והמבנה נפתח לציבור בשנת 1859.

בסמוך ניצב מבנה האקדמיה הסקוטית המלכותית לאמנות. שני המבנים שופצו בשנת 1912 על ידי ויליאם תומאס אולדריב.

אוספי המוזיאון כוללים למעלה מ-30,000 ציורים והדפסים, החל מתקופת ראשית הרנסאנס ועד שלהי המאה ה-19. כמו כן במוזיאון ספריית עיון העוסקת באמנות החל משנת 1300 ועד שנת 1900 ובה למעלה מ-50,000 ספרים וכתבי עת.

במסגרת פרויקט פלייפייר נוסף למוזאון בשנת 2004 אגף חדש המחבר את שני הבניינים, אשר כולל אולם תיאטרון להרצאות, חנות, ומרכז מידע.