Ещё во время Восточной империи Хань (25-220) гора стала пользоваться особым вниманием императоров. Во время империи Тан (618—907) был открыт первый храм — Храм Пяти Драконов.

Значительное строительство было предпринято на горе в XV веке, когда император, правивший под девизом «Юнлэ» созвал 300 тысяч солдат и оборудовал гору, построив многочисленные храмовые комплексы. В горах Уданшань тогда было построено 9 храмов, 9 монастырей, 36 скитов и 72 кумирни, множество беседок, мостиков и многоярусных башен, образующих 33 архитектурных ансамбля. Строительство в горах продолжалось 12 лет с 1412 года. Предпринято это было потому, что император, насильственно свергший с трона племянника, не обладал правом наследования, и строительство было затеяно с целью умилостивить духов и получить поддержку народных масс, доказав свою избранность и поддержку высших сил. Несмотря на большой объём строительства, сам император так и не посетил храмового комплекса.

Комплекс сооружений охватывал главную вершину и окружающие её 72 малых пика, сооружения тянутся на 80 км.

Во время Культурной революции в Китае (1966—1976) храмы были разрушены, но потом восстановлены, гора активно посещается туристами Китая и иностранцами.

В 1994 году весь комплекс храмов и монастырей на горе получил статус Всемирного наследия ЮНЕСКО.