L'idea originale di un museo di arte moderna fu sviluppata nel 1928 principalmente da Abby Aldrich Rockefeller (moglie di John Davison Rockefeller Jr.) e da due delle sue amiche, Lillie P. Bliss e Mary Quinn Sullivan.[1] Il loro gruppo divenne noto con vari soprannomi, tra cui "the Ladies" (Le Signore), "the daring ladies" (Le ardite Signore), e "the adamantine ladies" (Le Signore adamantine). Come sede del museo da loro ideato affittarono un edificio piuttosto modesto e lo aprirono al pubblico il 7 novembre 1929, 9 giorni dopo il Martedì nero. Abby invitò A. Conger Goodyear, in precedenza presidente del consiglio di amministrazione della Albright Art Gallery di Buffalo, a diventare presidente del nuovo museo. La Rockefeller stessa assunse l'incarico di tesoriere. Si trattò di uno dei primi musei statunitensi ad essere dedicato interamente all'arte moderna e d'avanguardia (si veda anche la Gallery of Living Art di Gallatin e La Société Anonyme di K.Dreier) europee.[2]

Goodyear convinse Paul J. Sachs e il giornalista e critico d'arte Frank Crowninshield ad unirsi a lui come membri del consiglio di amministrazione, oltre alla mecenate Josephine Boardman Crane.[3] Sachs, condirettore e curatore della sezione stampe e disegni del Fogg Art Museum presso l'Università di Harvard, fu incaricato di reperire i curatori. Goodyear gli chiese di suggerire un direttore e lui propose Alfred Hamilton Barr Jr., un suo promettente giovane pupillo. Sotto la guida di Barr la collezione del museo, che in origine era composta di sole otto stampe e un disegno avuti grazie ad una donazione, si ampliò velocemente. Nel novembre del 1929 si tenne la prima mostra di successo, in cui furono esposte opere di Van Gogh, Gauguin, Cézanne e Seurat.[4]

Il museo, dapprima ospitato in sei stanze tra gallerie e uffici al dodicesimo piano del Manhattan's Heckscher Building,[5] all'angolo tra la 5th Avenue e la 57ª Strada, nei suoi primi dieci anni di vita si spostò in altre tre sedi provvisorie. Il ricchissimo marito di Abby era un fiero oppositore del museo (e in verità di tutta l'arte moderna) e si rifiutava di concedere finanziamenti per l'avventura, finanziamenti che dovettero essere trovati in altro modo e la mancanza dei quali si tradusse in effetti nei frequenti cambiamenti di sede. Nondimeno, alla fine egli donò il terreno su cui venne edificata l'attuale sede e fece altre donazioni di tanto in tanto, diventando comunque, suo malgrado, uno dei più grandi benefattori del museo.[6]

In quel periodo si tennero molte altre esposizioni di celebri artisti, come la personale di Vincent van Gogh inaugurata il 4 novembre 1935. Comprendeva 66 dipinti ad olio e 50 disegni fino ad allora inediti provenienti dai Paesi Bassi e dei commoventi estratti delle lettere scritte dall'artista; la mostra fu un grande successo di pubblico e diventò "un'anticipazione dell'attuale importanza di Van Gogh nell'immaginario contemporaneo.".[7]

Nel 1937 il MoMa trasferì i propri uffici e le proprie gallerie nel Time & Life Building all'interno del Rockefeller Center. La sede attuale, progettata secondo il Movimento Moderno dagli architetti modernisti Philip L. Goodwin e Edward Durell Stone, fu aperta al pubblico il 10 maggio 1939 e all'inaugurazione parteciparono seimila invitati, mentre l'apertura ufficiale venne data via radio dalla Casa Bianca dall'allora Presidente Franklin Delano Roosevelt.[8]

Il museo aumentò la propria fama a livello internazionale con la celebre retrospettiva dell'opera di Picasso del 1939-40, organizzata in collaborazione con l'Art Institute of Chicago. Grazie alla varietà delle opere esposte rappresentò una significativa reinterpretazione dell'arte del pittore spagnolo, apprezzata dagli studiosi d'arte e dagli storici. La mostra fu interamente organizzata da Barr, che adorava Picasso, era intesa a glorificare il più grande artista dell'epoca, e si pose come modello per tutte le retrospettive da allora in poi allestite dal museo.[9]

Quando il figlio di Abby Rockefeller, Nelson, nel 1939 all'età di trent'anni venne scelto dal consiglio di amministrazione come presidente di rappresentanza, si mise in prima linea nel pubblicizzare e promuovere il museo, sostenendo le nuove acquisizioni e il trasferimento nei nuovi e più ampi locali della 53ª strada. Anche suo fratello, David Rockefeller, nel 1948 entrò a far parte del consiglio di amministrazione e sostituì il fratello come presidente quando questi, nel 1958, venne eletto Governatore di New York. David incaricò il noto architetto Philip Johnson di riprogettare il giardino del museo e, in onore di sua madre, lo chiamò Abby Aldrich Rockefeller Sculpture Garden. Lui e la famiglia Rockefeller sono stati sempre strettamente legati al museo, anche grazie al Rockefeller Brothers Fund (It. Fondo fratelli Rockefeller), che ha finanziato l'istituzione a partire dal 1947. Attualmente nel consiglio di amministrazione sono presenti David Rockefeller, Jr. e Sharon Percy Rockefeller (moglie del senatore Jay Rockefeller).

Wish Tree, l'installazione di Yōko Ono nel Sculpture Garden realizzata nel mese di luglio 2010, è diventata in breve tempo molto popolare: sono numerosissimi i contributi (tra cui cartoncini artistici e poesie) che giungono da tutto il mondo.