De geschiedenis van de ÖNB gaat terug tot de hofbibliotheek van de hertogen van Oostenrijk. Hertog Albrecht III van Oostenrijk liet de boeken uit de Weense schatkamer in een bibliotheek plaatsen. Via keizer Maximiliaan I kwamen boeken uit Bourgondië en de Lage Landen naar Wenen. Zijn vrouw Bianca Maria Sforza bracht boeken uit Italië met haar mee. De boeken werden deels in Wenen, in Wiener Neustadt of in Innsbruck bewaard.

In 1722 liet keizer Karel VI de pronkzaal van de bibliotheek bouwen als onderdeel van de Hofburg. De zaal, ontworpen door Johann Fischer von Erlach is 80 meter lang en 20 meter hoog en bevat ongeveer 200.000 boeken en behoort tot de fraaiste voorbeelden van historische bibliotheken. De zaal diende als trefpunt voor het hof en Mozart voerde er in 1787 diverse werken van G.F. Händel uit. De initiatiefnemer, de hofbibliothecaris en muziekliefhebber Gottfried van Swieten, die een aangrenzend appartement bewoonde, bracht veel boeken op het gebied van de natuurwetenschappen in. In 1780 introduceerde hij als een van de eersten een catalogus op fiches.

De benaming "Österreichische Nationalbibliothek" ontstond in 1920 na het uitroepen van de republiek Oostenrijk. Tussen 1933 en 1945 kwam uit in beslag genomen inboedels van vervolgde Joden vele kostbare boeken in de ÖNB terecht. Na de Tweede Wereldoorlog weigerde de bibliotheek om boeken te restitueren aan de rechtmatige eigenaren en hun erfgenamen. Op basis van nieuwe wetgeving uit 1998 werden er tussen 2003 en 2010 uiteindelijk alsnog 35.217 objecten gerestitueerd. De ruim 8.000 objecten waarvan de eigenaren niet meer te traceren bleken, werden in 2010 overgedragen aan het in 1995 opgerichte nationale fonds voor de slachtoffers van het nationaalsocialisme en daarvan vervolgens teruggekocht.[1]