La leyenda cuenta que San Amador era un ermitaño habiendo vivido por aquí. Esta leyenda fue difundida por los benedictinos. Es lo más creíble. Sin embargo, otra leyenda más espectacular apareció a finales de la Edad Media, diciendo que Zaqueo, (rico publicano de Jericó casado con La Verónica del Evangelio) llegó con su familia a estos parajes, después de la muerte de Cristo. Allí tomó el nombre falso de Amator o Amadour. Una vez instalado, fundó un pequeño oratorio en una roca que más tarde sería llamada Roche d’Amadour (Roca de Amador, Rocamador), con una mezcla de términos entre la Roca Mayor y la Roca de Amadour.

El Santuario de Rocamadour cuenta con una larga tradición de peregrinación a la Virgen María bajo forma de una virgen negra con un cuerpo recubierto de plata, como Nuestra Señora de la Dorada, en Tolosa.

La prueba final de este peregrinaje consistía en subir de rodillas los 216 peldaños de la escalera que conduce a la ciudad religiosa (comprendida por 7 iglesias, más 12 que las restauraciones del siglo XIX no pudieron mantener). Finalmente, después de esta ascensión, los peregrinos entraban en los santuarios, y regalaban varios objetos en ofrecimiento. Los objetos más conocidos son los hierros de varios condenados liberados de sus cadenas, los barcos de marineros salvados y agradecidos, o las placas de mármol grabadas y enganchadas al muro de la capilla en los Siglos XIX y XX (la mayoría no se puede ver ahora, porque estas placas constituyeron una verdadera invasión de mármol, adentro y afuera de la capilla milagrosa. Podemos ver los agujeros taponados contra la pared afuera).

De dimensión europea, como asegura el Libro de los milagros del siglo XII, perdió popularidad después de la guerra de los Cien Años. La etapa iconoclasta de mercenarios protestantes en el año 1562 saqueó el pueblo una vez más. La Revolución no cambió el estado de ruina. En el siglo XIX el santuario fue restaurado completamente y se salvó de la ruina total.

Además de las reliquias del cuerpo de Amadour, el éxito del lugar vino dado por los milagros atribuidos a la Virgen Negra. Su popularidad era conocida en España y en Portugal por muchas capillas o cofradías. Por ejemplo, la iglesia de Sangüesa tiene aún una estatua de Santa María de Rocamador. Una milagrosa campana señalaba, por su tintineo, el salvamento de marineros en el mar. Este reconocimiento del mundo de los marineros valió a Nuestra Señora de Rocamadour el ser venerada en varias capillas como Finisterre o Quebec.

A finales de la Edad Media, la iglesia fomentó este peregrinaje con la adjudicación a perpetuidad de indulgencias plenarias a las personas que recibieran los sacramentos de la penitencia y de la comunión en Rocamadour. Los días más conocidos para obtener estas indulgencias son el 24 de junio, San Juan Bautista, cuando esta fecha coincide con el día de Corpus Christi. Desde las restauraciones del santuario, la semana mariana de septiembre es una cita muy especial para cristianos de los alrededores.