Es considera que la pedra calcària que forma les coves de Batu té uns quatre-cents milions d'anys d'antiguitat.[1] Algunes de les coves van ser utilitzades com a refugi per les tribus aborígens.

A començaments de la dècada del 1860 els colons xinesos van començar a extreure guano de les coves per a emprar-lo com a fertilitzant.

El comerciant indi K. Thamboosamy Pillai va promoure aquest indret com a lloc d'adoració, inspirat per la forma de l'entrada de la cova principal, dedicant un temple a Murugan. El 1890 va instal·lar una estàtua (murti) de la deitat Murugan al lloc conegut actualment com a la cova del Temple. Des del 1892, s'hi celebra la festivitat hindú de Thaipusam.[1]

El 1920 s'hi van construir unes escales de fusta a la cova del Temple, substituïdes posteriorment per 272 esglaons de formigó.[1] A banda de la cova del Temple, hi ha altres temples menors a les coves.