De kerk werd vernoemd naar de Deense predikant, dichter, historicus en volksopvoeder N.F.S. Grundtvig (1783-1872) en gebouwd naar een ontwerp van Peder Jensen-Klint. De in verband met de bouwplannen uitgeschreven architectuurwedstrijd had Jensen-Klint in 1913 gewonnen.

De eerstesteenlegging van de nieuwe kerk vond na de Eerste Wereldoorlog plaats op 8 september 1921, toen het precies 138 jaar geleden was dat Grundtvig was geboren. De kerktoren werd in 1927 voltooid. Op de benedenverdieping van de toren bevond zich een grote ruimte waar gelovigen tot de voltooiing van het kerkschip de kerkdiensten vierden. De architect maakte de voltooiing van zijn ontwerp zelf niet meer mee. Na zijn dood in 1930 nam zijn zoon Kaare Klint de bouwleiding over. In 1940 kwam ten slotte de hele kerk gereed.