Els primers edificis del santuari es van erigir probablement durant el segle vi, l'any 593, per Saeki Kuramoto,[1] tot i que les primeres mencions del santuari daten de l'any 811, en el Nihon Koki («Notes sobre el Japó») on es mencionava aquest i altres temples.[2] L'any 1168, quan Taira no Kiyomori va ser promogut governador de la província d'Aki, el clan Taira el va convertir en un centre de culte pel clan. El van reformar en l'estil arquitectònic en el qual es construïen les residencies de la noblesa en aquella època. Amb el temps, va fer-se famós i va atraure més fidels al temple.

Després dels Taira, el clan governant Genji el va continuar venerant i patrocinant. Així també ho van fer Ashikaga Takauji (1305-1358) i Ashikaga Yoshimitsu (1358-1408) i altres shoguns del període Muromachi i pels clans Ōuchi i Mōri durant les èpoques de guerra.

El santuari principal va ser danyat per dos incendis els anys 1207 i també l'any 1223. Tot i les posteriors restauracions, cada una d'aquestes van canviar la forma del temple tal com demostren unes il·lustracions del període Koan (1278-1288). També l'any 1325 un tifó el va danyar. Tot i aquestes reformes, l'estil arquitectònic s'ha mantingut fidelment.

Des del període Kamakura fins l'època de les guerres civils, el santuari d'Itsukushima va perdre popularitat fins gairebé acabar en ruïnes. Quan Mori Motonari van guanyar la batalla d'Itsukushima l'any 1555, aquest va tornar a recuperar l'estatus que havia tingut anteriorment. L'estructura actual del temple principal va ser restaurada l'any 1571, respectant l'estil arquitectònic que va utilitzar Kiyomori durant el segle xii.