Австрийская национальная библиотека берёт своё начало от средневековой императорской библиотеки. Герцог Альбрехт III (1349—1395) начал собирать книги, а также организовал переводы многих произведений с латинского языка на немецкий. Всё это он хранил в часовне Хофбурга. Император Фридрих III (1415—1493) дополнил коллекцию, привезя в столицу некоторые ценные книги. После него большой вклад в развитие библиотеки сделал император Максимилиан I (1459—1519), ставший обладателем приданого первой жены, в том числе книг из Бургундии, которые он перевёз в Хофбург. Вторая жена императора Бьянка Мария Сфорца в качестве приданого привезла книги из Италии.

После смерти Максимилиана книги хранились в Инсбруке. В это время библиотека пополнилась научными трудами австрийских учёных, глобусами, картами и атласами, а фонды значительно увеличились, благодаря пожертвованиям из личных коллекций богатых граждан. К 1575 году коллекция уже насчитывала 9 тыс. экземпляров, и для ухода за ней был нанят первый библиотекарь.

С 1624 года по распоряжению Фердинанда II государственная казна стала регулярно выделять средства на расширение библиотеки.

В 1722 году Карл VI приказал построить отдельное здание в Хофбурге для императорской библиотеки. Коллекция продолжала расширяться — принц Евгений Савойский организовал сбор средств, благодаря которым удалось приобрести около 15 тыс. томов во Франции и Италии. В это же время была организована картотека.

После провозглашения Австрийской Республики в 1920 году библиотека была переименована в Австрийскую национальную библиотеку.