Durante gli anni quaranta, dopo essersi trasferito negli Stati Uniti, Edward James trascorse un breve periodo a Hollywood, dove Bridget Bate Tichenor, amica di James ed esponente del realismo magico, lo incoraggiò a concretizzare artisticamente in Messico la passione che lui aveva coltivato per l'esoterico.[1] James decise pertanto di trasferirsi in Sudamerica per "allestire un Giardino dell'Eden" in quanto "vi è molto più spazio di quello che si può trovare in un centro della California meridionale". Inoltre, la scelta di cambiare vita era dovuta al fatto che considerava il Messico più "romantico" degli Stati Uniti.[2]

Giunto a Cuernavaca, James assunse una guida di nome Plutarco Gastelum, e giunse con questi a Xilitla durante il novembre del 1945.[3] Inizialmente, il mecenate creò un giardino di 29.000[4] orchidee e un piccolo zoo con cervi, fenicotteri, anatre, boa constrictor, e altri animali. Il compito di creare le gabbie per i serpenti venne affidato all'artigiano Jose Horna.[5][6] Nel frattempo, a partire dal 1949, James fece costruire decine di architetture in cemento come, ad esempio, The House on Three Floors Which Will in Fact Have Five or Four or Six, The House with a Roof like a Whale, e The Staircase to Heaven.[7] Fra coloro che vi lavorarono vi fu Jose Aguilar, falegname che, servendosi degli schizzi di James, creò gli stampi da usare per erigere le strutture.[5][8] A Las Pozas lavorarono oltre cento persone del luogo.[9] Nel 1962, una tempesta di neve portò alla morte di tutte le orchidee.[10] La costruzione di Las Pozas costò a James più di 5 milioni di dollari; per finanziare l'ambizioso progetto, egli vendette la sua collezione d'arte all'asta.[7]

Dopo aver saputo della morte di James nel 1984, Gastélum, a cui era stato affidato il compito di occuparsi di Las Pozas quando James non era presente, fece interrompere i lavori, e diverse strutture rimasero incompiute.[5]

Nel 1994 Las Pozas venne aperto al pubblico.[5]

Nel 2006 il giardino scultoreo venne dichiarato patrimonio culturale del Messico.[5]

Durante l'estate del 2007, la Fundación Pedro y Elena Hernández, la CEMEX e il governo di San Luis Potosí destinarono circa 2,2 milioni di dollari statunitensi a Las Pozas e inaugurarono una fondazione che sovrintende la conservazione del sito.[3]

Las Pozas è candidato fra i patrimoni dell'UNESCO.[11]