Згідно з переказами святий апостол Яків був першим місіонером, який провістив християнство на Піренейському півострові[1][2]. 44 року він загинув мученицькою смертю в Єрусалимі, після чого його мощі перевезли до Іспанії й поховали в Галісії[3]. За легендою, 814 року це поховання віднайшов самітник Пелагій, після того як побачив дивне сяйво у нічному небі. Єпископ Теодомир Ірійський визнав це чудом і повідомив про нього астурійського короля Альфонсо II, що правив Галісією[4]. Король наказав збудувати на місці поховання апостола каплицю і став першим, хто здійснив до неї паломництво. 829 року замість каплиці постала перша церква святого Якова. 899 року її перебудували у романському стилі за наказом астурійського короля Альфонсо III. За наступних монархів тривала постійна розбудова храму, що поступово став одним із головних паломницьких центрів Астурійського королівства[5].

997 року первісну Церкву Святого Якова пограбувала армія Кордовського халіфату на чолі з Аль-Мансурома. У паплюженні храму йому допомагали також його християнські васали, які, однак, залишили недоторканним гробницю і мощі апостола. За легендою грабіжники викрали дзвони і переплавили їх на канделябри, якими було прикрашено знамениту Велику мечеть у Кордові[6]. 1236 року, після захоплення Кордови християнськими військами кастильського короля Фернандо III, відбулось символічне "повернення" цих дзвонів.

Будівництво сучасного Собору святого Якова почалося 1075 року за правління кастильського короля Альфонсо VI, під патронатом місцевого єпископа Дієго Пелаеса. Архітекторами були Бернард Старший, якого «Codex Calixtinus» називає «блискучим майстром», Роберт Гальперін, Естебан та Бернард Молодший. Прототипом храму стала цегляна церква святого Сатурніна в Тулузі, один зі найвідоміших зразків романської архітектури у Франції. Собор будували переважно з граніту. Роботи переривалися декілька разів. Згідно з «Liber Sancti Iacobi» останній камінь поклали 1122 року, проте і після цього будівництво тривало близько століття. 1211 року собор освятили у присутності леонського короля Альфонсо IX[7][8].

Від 1075 року храм святого Якова був резиденцією єпископів Компостельських і мав статус катедрального собору. 1100 року папа Урбан II підвищив Компостельське єпископство до архієпископства, чим збільшив престиж самого собору. 1495 року при резиденції відкрився Компостельський університет.

Сучасного вигляду Собор святого Якова набув внаслідок реставрацій та перебудов XVI—XVIII століття.

У листопаді 1982 року і серпні 1989 року папа римський Іван-Павло ІІ відвідав Собор святого Якова як паломник. У листопаді 2010 року в ньому молився папа Бенедикт XVI.