最初，原址上是一座小的西哥特式教堂——圣·文森特·勒兰巴西利卡。伊斯兰势力于公元711年征服西班牙之后，教堂被分成两半。这种伊斯兰教--基督教共生的局面一直持续到公元784年，直到阿卜杜拉赫曼一世将基督教部分买下。原有结构被拆除，并在原址上建立了现在的科尔多瓦大清真寺。在复国运动中，科尔多瓦于1236年重新成为基督教统治地区，大清真寺随即被改建成罗马式天主教堂，16世纪又进一步加建了文艺复兴式的大教堂和中殿。

 位于西班牙阿尔穆涅卡尔的阿卜杜拉赫曼一世雕像

阿卜杜拉赫曼一世建造清真寺的目的之一，是将它作为王宫的一部分，并以他的妻子命名（科尔多瓦大清真寺最初叫做Aljama Mosque）。一般来讲，清真寺的礼拜堂都朝向圣城麦加，这样，信徒祈祷朝拜时就可以面向麦加方向。事实上，麦加在科尔多瓦清真寺的东南方，但这里的礼拜堂却都基本向着南面[1]。清真寺的建设需求大量的艺术家和工人，也因此广泛的带动了整个地区的发展——从石材开采、运输到矿石冶炼和锻造。最早的平面由叙利亚建筑师设计。阿卜杜拉赫曼一世甚至离开了在科尔多瓦城外缘的府邸，居住在城中，以便能亲自监督工程进展，指导设计。

清真寺经历过数次的改建：阿卜杜拉赫曼二世加盖尖塔，公元961年哈基姆二世进一步扩建，重新装饰了礼拜堂。最后一次大的改建是在公元987年，在阿尔曼索尔统治下。外侧中殿和花园完工后，清真寺终于达到了如今的规模。

在安达卢西亚的伊斯兰世界里，科尔多瓦大清真寺三百年里一直占据着重要地位。在首都科尔多瓦，大清真寺被视为城市的心脏和中心。穆罕默德·伊克巴勒这样描述列柱大厅：“数不清的柱子，就像是叙利亚绿洲里层叠的森林”[2]。对安达卢西亚人来说，大清真寺的美令一切语言失色。

^ Lapunzina, Alejandro. Architecture of Spain. Greenwood Publishing Group. 2005: 82–83.  ^ Muhammad Iqbal. The Mosque of Córdoba.