La Nationalgalerie a été fondée en 1861, grâce à la donation de deux cent soixante-deux tableaux du banquier Johann Heinrich Wagener. La collection a d'abord été présentée à l'Académie des arts de Berlin.

Le bâtiment actuel, conçu en 1865 par Friedrich August Stüler d'après une esquisse du roi Frédéric-Guillaume IV de Prusse, a la forme d'un temple romain, avec un portique orné de colonnes corinthiennes, et prolongé par une abside. Sa construction s'est échelonnée de 1869 à 1876, sous la direction de l'architecte Heinrich Strack.

Après avoir subi de sérieux dommages lors de raids aériens durant la Seconde Guerre mondiale, le musée a en partie rouvert en 1949 et sa reconstruction s'est achevée en 1969. Entre 1998 et 2001, le musée a été entièrement rénové et des salles supplémentaires en mezzanine ont été ajoutées ; y sont présentées les œuvres romantiques.