1800年4月24日に合衆国議会の図書室として発足した。当初、蔵書は政治に直接関係するものが中心だったが、米英戦争中の1814年、 ワシントン焼き討ちによって焼失。1815年に議会は、6487点を所蔵する元大統領トーマス・ジェファーソンの個人図書館を買い上げ、蔵書数は発足当初の2倍となり、蔵書の種類も広がった。図書館は1851年の火災で再び焼失したものの、その後、規模は次第に大きくなり、政府の各機関や一般へのサービスも充実した。1897年には蔵書が多くなりすぎたため、アメリカ合衆国議会議事堂近くの新しいビルへ移転した。

その後、1899年から1939年まで40年にわたって館長を務めたハーバート・パトナムの時代に議会図書館はめざましい発展を遂げ、世界中から膨大な資料を集めた世界最大の図書館に成長した。第二次世界大戦後にも更なる膨張を続け、1970年には図書館の内局として連邦議会のための調査機関である議会調査局を発足させた。

20世紀末から21世紀初頭にかけては1987年就任のビリントン館長のもと、急速に発達したインターネット技術を背景とする電子図書館事業を推進している。