La Library of Congress fu istituita il 24 aprile 1800 quando la presidenza di John Adams controfirmò un atto del Congresso che stabiliva il trasferimento della sede del governo da Filadelfia nella nuova città capitale di Washington. La legge destinava 5 000 dollari «per l'acquisto dei libri necessari alle esigenze del Congresso […] e per la sistemazione di un appartamento adatto a contenerli».

La prima biblioteca ebbe sede nel nuovo Campidoglio (Capitol in inglese) fino all'agosto 1814, quando le truppe inglesi incendiarono il vecchio edificio, distruggendo i circa 3 000 libri conservati nella biblioteca. Nel giro di un mese, il Presidente a riposo Thomas Jefferson offrì la propria biblioteca personale come sostitutiva. Jefferson per 50 anni si era dedicato ad accumulare libri, raccogliendo ogni testo collegato all'America e anche tutte le opere rare e significative in tutte le scienze; la sua biblioteca era considerata tra quelle di maggior valore negli Stati Uniti. Jefferson era pesantemente indebitato e si vedeva costretto a vendere i suoi libri per tacitare i suoi creditori. Egli anticipò la prevedibile controversia sulla natura della sua collezione, che includeva libri in lingue straniere e volumi di filosofia, scienza, letteratura e altri argomenti comunemente considerati estranei alle biblioteche legali. Scrisse dunque: «Non so se la mia biblioteca contenga alcuna branca del sapere che il Congresso voglia escludere dalla sua collezione; infatti non è presente alcun argomento sul quale un Membro del Congresso non possa essere chiamato a riferire».

Nel gennaio 1815 il Congresso accettò l'offerta di Jefferson, stanziando 23 950 dollari per i suoi 6 487 libri, e questo pose le basi per una grande biblioteca nazionale. Il concetto jeffersoniano di universalità, cioè la convinzione che tutti gli argomenti sono importanti per la biblioteca dei legislatori statunitensi, costituisce la filosofia e lo schema razionale, dietro le perduranti politiche delle collezioni onnicomprensive della Library of Congress.

Il 24 dicembre 1851 la Library subì un incendio che distrusse 35 000 libri, un ritratto originale di Cristoforo Colombo, ritratti dei primi cinque Presidenti statunitensi eseguiti da Gilbert Stuart e statue di George Washington, Thomas Jefferson e il Marchese di Lafayette.

La Biblioteca ora occupa vari edifici a Washington. I tre principali sono:

Il Thomas Jefferson Building (tra la Independence Avenue e la East Capitol Street sulla First Street SE), aperto nel 1897 e di gran lunga il maggior edificio della biblioteca. Il John Adams Building (tra la Independence Avenue e la East Capitol Street sulla 2nd Street SE), aperto come annesso al precedente nel 1938[1]. Il James Madison Memorial Building (tra First Street e Second Street sulla Independence Avenue SE), aperto nel 1981 come nuovo quartier generale della Library.