Fifth Avenue, 1878: illustrazione da The Wickedest Woman in New York: Madame Restell, the Abortionist di Clifford Browder. La cattedrale di San Patrizio Fifth Avenue, 1918, fotografia dalla Library of Congress Collection. Il Guggenheim Museum alla 89th Street. Robert L. Bracklow (1849–1919), Fifth Avenue at 42nd Street, New York, USA, 1º settembre 1888, scheda stampata all'albume, Department of Image Collections, National Gallery of Art Library, Washington, DC

L'alto status di cui già in passato godeva la Fifth Avenue fu confermato nel 1862, quando Caroline Schermerhorn Astor si stabilì all'angolo della 34th Street e l'erezione nel 1897 dell'Astoria Hotel (poi collegato al suo vicino, il Waldorf Hotel, a formare il celebre Waldorf-Astoria Hotel) nello stesso luogo (quello dove ora sorge l'Empire State Building) fu il simbolo della fine del ruolo di strada residenziale per la Fifth Avenue.

La Fifth Avenue è l'ambientazione centrale del romanzo L'età dell'innocenza di Edith Wharton del 1920, vincitore del premio Pulitzer. Il romanzo descrive l'élite sociale della New York degli anni 1870 e fornisce un contesto storico della Fifth Avenue e delle famiglie aristocratiche di New York.

Originariamente una via stretta, gran parte della Fifth Avenue a sud di Central Park venne allargata nel 1908, sacrificando i suoi larghi marciapiedi per far spazio al traffico in aumento. Gli isolati di Midtown, oggi notoriamente commerciali, furono più che altro un distretto residenziale fino all'arrivo del XX secolo. Il primo edificio commerciale della Fifth Avenue fu costruito da Benjamin Altman che acquistò il lotto all'angolo della 34th Street nel 1896 e demolì il "Marble Palace" del suo rivale A. T. Stewart. Nel 1906 il suo grande magazzino, B. Altman and Company, occupò l'intero fronte dell'isolato. Il risultato fu la creazione di un distretto commerciale che attraeva le signore dell'alta società e i negozi intenzionati a servirle. Il magazzino Lord & Taylor si trova ancora sulla Fifth Avenue vicino all'Empire State Building e alla New York Public Library.

Nella prima parte degli anni 1900, i più ricchi di New York si trasferirono nel tratto della Fifth Avenue compreso tra la 59th Street e la 96th Street, ovvero il pezzo che si affaccia su Central Park. Quest'area raccoglie diversi edifici notevoli, molti dei quali costruiti negli anni venti da architetti come Rosario Candela e J. E. R. Carpenter. Solo poche strutture edificate dopo la seconda guerra mondiale rompono il continuo fronte delle facciate in pietra calcarea, una di queste è il Solomon R. Guggenheim Museum tra la 88th e la 89th Street.