Św. Jan Nepomucen poniósł śmierć męczeńską w 1393 roku. W 1719 specjalna komisja powołana przez praskiego arcybiskupa badała jego zwłoki i odkrywszy dobrze zakonserwowany język duchownego, uznała to za dowód świętości. Beatyfikacja Jana Nepomucena w 1721, a potem kanonizacja w 1729, które upowszechniły jego kult, skłoniły opata klasztoru cystersów w miejscowości Žďár nad Sázavou - Vaclava Vejmluva - do budowy sanktuarium na Zelenej Horze (Zielonej Górze), znajdującej się nieopodal Pomuku - miejsca narodzin świętego.

Budowa rozpoczęta została już w 1719 roku, a przy pracach aktywnie uczestniczył opat, przydając projektowi świątyni znaczenie symboliczne. Konsekracja kościoła nastąpiła na rok przed zakończeniem prac budowlanych w 1721 roku.

Po kasacie zakonu Zelená Hora przez cały XIX wiek odgrywała rolę cmentarza, a grobowce z tego okresu wciąż znajdują się w obrębie murów okalających świątynię.