El lugar en el que está erigida viene albergando edificios religiosos desde el siglo V. En el momento de la construcción la actual catedral conocida como « la nueva Mayor » se edificó ocupando parte del terreno que pertenecía a la antigua catedral románica « la vieja Mayor ». Pero al excavar sus cimientos se revelaron además restos de la existencia de una iglesia paleocristiana y un baptisterio sobre el mismo lugar. Estaríamos ante « la Mayor primitiva» y podríamos así hablar de Catedrales, en plural, de la Mayor.

Poco queda de la Mayor primitiva. Durante la construcción de la nueva Mayor en el siglo XIX se encontraron fragmentos de suelos con mosaico y el antiguo baptisterio. Todo ello desapareció con las obras quedando solo la descripción que en el momento hizo F. Roustan. Excavaciones más recientes dirigidas por F. Paone dieron con más fragmentos de mosaico en el último tramo de la nave conservado, así como algunos fragmentos de muro de una piedra rosa calcárea similar a la utilizada para la catedral romana. Comparando estos descubrimientos con los del siglo XIX puede deducirse que la catedral primitiva tendría unos 60 m de largo y entre 26 y 34 m de ancho.

Durante la época carolingia tuvo lugar una restauración de la que se conservan adornos esculpidos con motivos entrelazados. Más tarde, en pleno siglo XI el obispo Pons Ier hace reconstruir el ábside utilizando para ello piedra calcárea blanca lo que nos permite distinguirlo fácilmente de construcciones de otras épocas.

La catedral fue completamente reconstruida en el siglo XII con piedra rosa de las cercanas canteras de La Couronne. Constituyó en su momento uno de los mejores ejemplos de arquitectura románica provenzal, siguiendo una planta de cruz latina con un ábside para el coro, varios absidiolos y naves laterales. Se cerraba con una bóveda de cañón con una cúpula octogonal en el crucero y una semicúpula heptagonal en cuarto de esfera sobre el ábside. En el siglo XIV se le añadió el campanario y entre el XV y el XVIII un nuevo tramo (junto con su tramo transversal) en el lado norte de la nave principal.

En la decoración interior destacaba el altar de San Lázaro del siglo XV, esculpido en mármol de Carrara por el escultor croata Franjo Vranjanin (conocido como Francesco Laurana) entre 1475 y 1481. Se encontraba en el brazo norte del transepto que presentaba una arquería de estilo renacentista (una de las primeras vistas en Francia). Dentro de la capilla dedicada a Saint-Sérénus podía verse un relicario de mármol del siglo XIII con un bajorrelieve de loza « La mise au tombeau » de Jesús siendo descendido de la Cruz atribuido al taller del escultor italiano Luca Della Robbia (finales del siglo XV-principios del siglo XVI).

En 1840 fue clasificada como monumento histórico lo que no evitaría que se acordara su destrucción pocos años más tarde para dar paso a la nueva catedral. Esta decisión, tomada en 1852, motivó las protestas de la Sociedad francesa para la conservación de monumentos y fuertes presiones de la opinión pública que un año más tarde conseguiría finalmente indultar las partes que no habían sido aún derribadas por las obras (el coro y una nave lateral). Amputada de dos de sus naves perdió el carácter catedralicio y se convirtió en iglesia parroquial a partir de la inauguración de la nueva catedral. Seguiría siendo un lugar de culto hasta los años 50. Actualmente está cerrada por restauración.

La construcción de Sainte-Marie-Majeure entre 1852 y 1893 supuso romper una racha de dos siglos sin construir nuevas catedrales en territorio francés. Además por sus dimensiones (comparables a la Basílica de San Pedro de Roma) se la considera como una de las mayores obras religiosas construidas después de la Edad Media. El nuevo edificio debía acoger hasta 3 000 fieles y estar a la altura de Marsella (que conocida como la porte de l’Orient era por aquel momento la segunda ciudad y el principal puerto de Francia). Para ello fue necesario el sacrificio de dos naves de la catedral de Notre-Dame (la Vieja Mayor).

La decisión de su construcción fue tomada por Monseñor Eugène de Mazenod quien siguiendo las pautas del concordato solicita permiso a las autoridades civiles. Fue el propio príncipe-presidente Napoleón III quien pondría la primera piedra el 26 de septiembre de 1852. Los sucesivos arquitectos acuerdan otorgar al edificio una arquitectura historicista, donde la alternancia de piedras blancas y verdes, los mosaicos y cúpulas le dan un estilo bizantino que se conjuga con elementos góticos y románicos.