La Biblioteca George Peabody fue financiada por George Peabody (1795–1869). Peabody, habiéndose convertido en un hombre rico en Baltimore a través del comercio durante las décadas de 1810 y 1820, luego de su breve servicio en la milicia estatal que defendía la ciudad contra el famoso ataque británico durante la Guerra de 1812, "dio $ 300,000 como suma inicial para el Instituto Peabody " en febrero de 1857.[1]​ Originalmente, se planeó que el instituto abriera en 1860, pero el conflicto entre estados fronterizos en la región causado por la Guerra Civil estadounidense retrasó su establecimiento y construcción hasta 1866. El primer bibliotecario de la Biblioteca George Peabody, John Morris, y el Comité de la Biblioteca, presidido por George Pendleton Kennedy, utilizaron este tiempo para estudiar y catalogar las colecciones de las bibliotecas más grandes de los EE. UU. y Europa. Morris luego creó una lista de 50,000 libros y buscó activamente su recuperación sin importar la dificultad o el costo. Esta práctica fue un gran éxito y fue continuada por el siguiente bibliotecario, Nathaniel Holmes Morrison. Como asistente de Morrison, el científico Philip Reese Uhler ampliaría esta práctica a los textos científicos al buscar expertos en varios campos científicos para obtener asesoramiento. Esta forma de desarrollo de colecciones se ha convertido en un estándar para las bibliotecas académicas.[2]​

Cuando abrió, Peabody dedicó el primer segmento, el ala oeste del nuevo Instituto Peabody, a los ciudadanos de Baltimore en agradecimiento por su amabilidad y hospitalidad. El instituto fue diseñado para ser un centro cultural para la ciudad de Baltimore, con planes para una galería de arte, una escuela de música, una serie de conferencias públicas, una serie de premios en efectivo con medallas de oro conocidos como "Premios Peabody" para los mejores graduados de las entonces tres escuelas secundarias públicas de la ciudad, así como una biblioteca de referencia pública no circulante que luego se trasladó al segundo segmento adjunto en el ala este en 1876-1878.[3]​

La estructura actual de la biblioteca en el ala este fue diseñada por el famoso arquitecto local Edmund G. Lind y se abrió al público en 1878. La biblioteca siguió siendo parte del Instituto Peabody hasta 1967, cuando se transfirió a la ciudad de Baltimore y se convirtió en un departamento de la cercana Biblioteca gratuita Enoch Pratt. Se transfirió a la Universidad Johns Hopkins en 1982 y se convirtió en parte del departamento de Colecciones Especiales de la Biblioteca Eisenhower en el campus de Homewood y parte de las Bibliotecas Sheridan en la Universidad Johns Hopkins, ya que el propio Instituto Peabody estaba afiliado a Hopkins.