24 kwietnia 1800 roku prezydent John Adams zatwierdził powstanie biblioteki i przeznaczył 5 000 dolarów na zakup książek w Londynie na potrzeby Kongresu. W 1801 do Waszyngtonu statkiem „American” przypłynęło 740 książek i trzy mapy. Biblioteka mieściła się początkowo w budynku Kongresu Stanów Zjednoczonych. Thomas Jefferson w styczniu 1802 roku zatwierdził pierwszą ustawę określającą zadania i zakres działalności biblioteki. Na jej mocy powstało stanowisko bibliotekarza Kongresu zatwierdzanego przez prezydenta oraz stałą Komisję Wspólną Kongresu ds. Biblioteki (Joint Committee of Congress on the Library). Jego zadaniem było opracowanie zasad funkcjonowania oraz nadzorowanie działalności i budżetu. W 1814 roku podczas wojny brytyjsko-amerykańskiej budynek Kongresu został podpalony. Pomieszczenie biblioteki i część zbiorów zostały zniszczone. W latach 1815–1818 bibliotekę przeniesiono do budynku hotelu Blodget. Wtedy też zakupiono kolekcję prezydenta Jeffersona[1].

W 1924 zbiory przeniesiono z poddasza w północnym skrzydle do zachodniego budynku Kongresu[1]. 1 listopada 1897 roku biblioteka przeniosła się do nowego budynku[2]. Rozpoczęto wtedy prace nad opracowaniem nowej klasyfikacji zbiorów, ponieważ do tej pory używano tej stworzonej przez Jeffersona dla jego kolekcji. Nowa klasyfikacja została wdrożona za kadencji Herberta Putnama. Rozbudowano wówczas znacznie księgozbiór, kupując kolekcje literatury: rosyjskiej, hebrajskiej, chińskiej, japońskiej. Zakupiono wtedy kolekcję rodziny Romanowów liczącą 2800 woluminów, w której część zbiorów pochodziła z bibliotek Aleksandra III i Mikołaja II i ich rodzin[3]. W 1930 roku zakupiono za 1,5 mln dolarów[1] kolekcję Ottona Vollbehra, w której znalazło się 3115 inkunabułów, w tym egzemplarz Biblii Gutenberga[4].

Ponieważ zbiory szybko się rozrastały, w 1928 roku został zatwierdzony plan budowy nowego budynku, który obecnie nosi imię Johna Adamsa. Archibald MacLeish przeprowadził reorganizację biblioteki, grupując 35 działów w departamentach opracowania, gromadzenia i informacji. W 1960 roku Kongres zatwierdził budowę kolejnego budynku na potrzeby biblioteki, który ukończono dopiero w 1981 roku. W połowie lat 60. biblioteka stworzyła format MARC do katalogowania zbiorów bibliotecznych, zapoczątkowując automatyzację bibliotek. W 1973 roku format ten został zatwierdzony jako standard międzynarodowy. W latach 1954–1997 biblioteka otwarła 5 regionalnych placówek (Regional Acquisition Center), które zajmowały się zakupami zagranicznych zbiorów na potrzeby Biblioteki Kongresu i innych bibliotek amerykańskich[1].