Due anni dopo la morte di Confucio (avvenuta nel 479 a.C.), la sua casa era già consacrata come tempio dal Principe di Lu. Nel 205 a.C. l'imperatore Gao Zu, della Dinastia Han, fu il primo imperatore ad offrire sacrifici in memoria di Confucio a Qufu. Il suo esempio fu poi seguito da numerosi altri imperatori successivi e da alti ufficiali; inoltre, gli imperatori presero l'abitudine di andare in visita a Qufu dopo l'incoronazione o dopo una guerra vittoriosa. In tutto, dodici imperatori visitarono Qufu per venti volte, mentre un altro centinaio mandò dei propri delegati per un totale di 196 visite.

La casa originale di Confucio, composta da tre stanze, venne rimossa dal Tempio durante i lavori di ricostruzione del 611. Nel 1012 e nel 1094, durante la Dinastia Song, il tempio venne ulteriormente esteso fino a comprendere tre diverse sezioni e quattro cortili, intorno ai quali si sviluppavano circa 400 stanze. Durante la Dinastia Jīn, nel 1214 un incendio e alcuni atti di vandalismo distrussero il Tempio, che venne ripristinato nella sua forma preesistente nel 1302, durante la Dinastia Yuan. Nel 1331 il Tempio venne circondato da mura, modellate secondo quelle del Palazzo imperiale. Dopo un altro incendio nel 1499, il Tempio venne restaurato nella forma visibile oggi, con l'aggiunta di alcuni edifici e decorazioni.