Бібліотека Конгресу заснована 24 квітня 1800 року, коли президент США Джон Адамс підписав закон про перенесення столиці держави з Філадельфії до Вашингтона. Закон серед іншого містив пункт про виділення 5 000 $ (тоді вельми значна сума) «на придбання книг, які можуть знадобитися Конгресу, і створення відповідного приміщення для їхнього зберігання». У цьому ж законі також визначалися правила функціонування бібліотеки, за якими, її відвідування та доступ до ресурсів отримували лише президент та віцепрезидент США, члени Сенату США та Палати представників (Конгрес США). Тому бібліотека одержала назву «Бібліотека Конгресу»

Початковий фонд становив 740 книг і три географічні мапи Америки, що були куплені в Лондоні. Президент Томас Джефферсон, який заступив на посаду президента 4 березня 1801 року, почав серйозно займатися розбудовою фонду Бібліотеки. При ньому бібліотечний фонд став розширюватися значно швидше.

Через 8 років присягу президента приніс Джеймс Медісон на долю якого випав важкий тягар — керівництво країною під час Англо-американської війни 1812—1814 років. У ході війни, в серпні 1814 року Вашингтон був практично спалений англійцями. Згорів дотла й Капітолій, де на той час знаходилася бібліотека. Після звільнення від британських військ столиці США, Медісон розпорядився відновити бібліотеку. Екс-президент та пристрасний бібліофіл Джефферсон запропонував Конгресу придбати його приватне зібрання з 6487 томів різними мовами, яке він збирав понад півстоліття. Пропозицію було прийнято. Сума угоди становила 23 940 доларів. Відтоді Бібліотеку Конгресу часом називають Бібліотекою Джефферсона.

Проте 1851 року бібліотека зазнала великої шкоди від другої пожежі, під час якої загинула велика частина книг, придбаних у Томаса Джефферсона та приблизно 2/3 всіх книг фонду, який становив на той час 55 000 різних видань. Через рік після пожежі з державного бюджету було виділено 168 700 доларів на відновлення бібліотеки. Левова частка цих коштів пішла на будівельно-ремонтні роботи.

У 1850-ті роки в Бібліотеку Конгресу були допущені міністри, керівники деяких відомств, члени Верховного суду, представники політичних партій, відомі науковці та письменники США, журналісти найбільших американських ЗМІ.

1870 року, завдяки зусиллям тодішнього головного бібліотекаря Ейнсворта Ренда Споффорда, на урядовому рівні було прийнято указ про обов'язковий примірник. За цим указом, один примірник будь-якого видання, яке було надруковане на території Сполучених Штатів, повинен передаватися на збереження в Бібліотеку Конгресу. Тоді ж законодавчо був закріплений порядок отримання та витрачання грошових коштів, що надходять в бібліотеки з державного бюджету, передбачено низку стимулів та заохочень для приватних осіб, фірм, громадських об'єднань та партій, які бажають підтримати фонд фінансово або безоплатно передати їй колекції книг, періодики, документів, тощо.

Герберт Патнем, який очолював бібліотеку з 1899 до 1939 року, розробив зручну систему класифікації книг, а наприкінці свого керівництва відкрив другу, спеціально збудовану для Бібліотеки Конгресу, будівлю. Філії було присвоєно ім'я засновника бібліотеки — Джона Адамса. На нову будівлю було виділено 6 500 000$.

У 1930-ті роки Бібліотека Джефферсона отримала статус національної, і право на першочергове комплектування фондів за рахунок коштів бюджету США. З 1939 по 1944 бібліотекою керував Арчибальд Макліш, з 1945 по 1953-й рік її очолював Лютер Еванс, з 1954 по 1974 — Квінсі Мамфорд, а з 1975 по 1987 — Деніел Бурстін.

1980 року побудовано третю, найбільшу за площею будівлю Бібліотеки Конгресу США, якій присвоєно ім'я Джеймса Медісона. У будівлі Медісона зберігаються газети та журнали на багатьох мовах світу. Директор бібліотеки Деніел Бурстін у 1980—1982 роках організував переїзд частини фондів до нового приміщення. Завдяки значному зростанню коштів, що виділялися на бібліотеку (116 млн доларів у 1975, 250 млн — у 1987), Бурстін зосередився на розширенні фондів бібліотеки через організацію тісних зв'язків з широкими колами письменників, журналістів, видавців, науковців та бізнесменів.

1987 року президент Рональд Рейган призначив нового директора бібліотеки. Ним став Джеймс Біллінгтон, який залишається на цій посаді й донині. Біллінтон провів велику роботу з комп'ютеризації бібліотеки та кооперації з навчальними закладами. Закінчення Холодної війни уможливило налагодити зв'язки з бібліотеками Східної Європи й зокрема з Національною науковою бібліотекою України. У середині 1990-х Бібліотека Конгресу почала роботу над створенням Національної цифрової бібліотеки, хоча цей проєкт мав і своїх критиків. У листопаді 2005 року бібліотека разом з ЮНЕСКО виступила ініціатором створення Світової цифрової бібліотеки, метою якої було проголошено збереження культурної пам'яті всього світу.

У квітні 2010 року бібліотека оголосила про свій намір архівувати всю публічну комунікацію мережі Twitter, починаючи з моменту запуску цього проєкту в березні 2006 року. Таким чином бібліотека архівує до 400 млн твітів за день. Наразі заархівовано близько 170 млрд твітів, проте ці матеріали поки що не доступні для публіки через проблеми зі зберіганням, каталогізуванням та індексацією цієї інформації.