Po arabski osvojitvi Vizigotskega kraljestva so bile cerkve na Iberskem polotoku razdeljene med muslimane in katolike. Po propadu Umajadskega kalifata s sedežem v Damasku leta 750 je v Španijo pribežal omajadski princ Abd Al Rahman in premagal andaluzijskega guvernerja Jusufa Al Fihrija. Kristjanom je dovolil obnovo njihovih porušenih cerkva, sam pa je kupil polovico cerkve sv. Vincenca v Córdobi.[1][2] Leta 784 jo je začel preurejati v mošejo kot prizidek svoje palače. Mihrab ali apsida, ki je v mošejah tradicionalno obrnjen proti Meki, ta pa leži jugovzhodno od Córdobe, je v Veliki mošeji usmerjen proti jugu.[3]

Mošeja je doživela številne spremembe: Abd Al Rahman II. je dal zgraditi nov minaret, Al Hakam II. pa jo je leta 961 razširil in obogatil mihrab. Zadnje spremembe je izvedel Al Mansur leta 987, ko je mošejo z dvignjenim prehodom povezal s svojo palačo. S tem je nadaljeval tradicijo islamskih vladarjev z vzhoda, ki so v svojih palačah vedno imeli tudi mošeje. Sedanji videz je dobila leta 987, ko so bile zgrajene še zunanje ladje in dvorišče.