Ermitan ligger på klippan la Peña Sacra, från vilken man har en utsikt över La Pedriza. Konstruktionen är från 1500-talet, med senare tillbyggnader från 1600-talet. Helgonbilden La Virgen de la Peña Sacra ("Jungfrun av Peña Sacra") är en modern kopia av den försvunna bilden från 1800-talet, med undantag för Jesusbarnet (el Niño) som är från äldre tider. Det finns olika dokument som kopplar ihop la Peña de la Sacra med druidiska kulter, och närvaron av keltiska präster som firade sina riter i skogarna runt första millenniet efter Kristus.

Det är okänt när dyrkandet av helgonbilden la Virgen de la Peña Sacra började, på grund av svårigheterna att hitta dokument äldre än från 1500-talet. Utan tvekan har kultens betydelse ökat fram mot 1700-talet. För närvarande finns en betydande tillbedjan av helgonet, fast det inte är skyddshelgon för regionen.

År 1769, under firandet av helgonet, förlorade man kontrollen över ljusen som omgav helgonbilden i kyrkan och allt tog eld. Endast sakristian undkom, och kyrkan lämnades utan torn, tak och helgonbilder. Till och med själva helgonet blev bränt. Samtidigt, berättar, berättar Bernaldo de Quirós, i sin berättelse om händelser från Manzanares gamla värdshus, blev ermitan föremål för en attack av banditer som bodde i området, men försvarades modigt av vaktstyrkan för Peña Sacra. I mer modern tid, har ermitan varit inblandad i nya händelser. Under Spanska inbördeskriget blev ermitan delvis förstörd och den äldsta helgonbilden av jungfru Maria försvann.