Siendo obispo de Zamora, Martín Arias, alrededor del año 1200, y viendo llegar la hora de su retiro, decidió buscar un lugar tranquilo en Galicia, su tierra natal.[1]​ Es así como decide la construcción de unos primeros edificios alrededor de 1216, en la zona extramuros de Santiago de Compostela,[2]​ entre los que destacaba la iglesia de San Lorenzo de Trasouto. Todo esto sucedió antes de 1216, el año en que se data una carta de confirmación del rey Alfonso IX relativa a la que ya es, entonces, iglesia de San Lorenzo de Trasouto.[3]​

De esta manera se fundó un eremitorio, que con el tiempo se transformaría en monasterio, se posee documentación de la Bula de Fundación, que fue otorgada por el rey Alfonso IX. Siglos más tarde, para unos autores durante finales del siglo XIV, y para otros ya en el XV, la incapacidad de mantener económicamente el eremitorio, hizo que pasara a ser propiedad y patronato del cabildo catedralicio de Santiago de Compostela,[2]​ que cedió el usufructo del monasterio a los franciscanos.[3]​ Hay autores que consideran que en esta época la propiedad era ya de los Condes de Altamira.[1]​

Pronto, al existir un cierto grado de parentesco entre uno de esos franciscanos con los Condes de Altamira de aquel momento, se constituyó un patronato, que cedió las tierras y transformó a su costa el eremitorio en monasterio, dándolo en usufructo a los monjes. De esta manera, los Condes de Altamira se convierten en benefactores, ayudándoles económicamente.[1]​

La entrada de los frailes hizo necesaria una serie de modificaciones arquitectónicas, y de esta manera se inicia a partir de 1392 una serie de ampliaciones, restauraciones y reformas, que se extendieron hasta el siglo XV. La importancia del monasterio es tal que en 1520 el emperador Carlos I de España y V del Sacro Imperio Romano Germánico se retiró en él para pasar la Semana Santa.[2]​

En el siglo XVIII se realiza la ampliación del convento, añadiendo nuevas celdas, es en este momento cuando se inicia el mecenazgo del arzobispo Antonio de Monroy, que permitió la construcción de la capilla mayor, la sacristía (en la cabecera de la iglesia) y el alargamiento del crucero que se enlaza a la planta original.[3]​

Con la desamortización de Mendizábal, el edificio es incautado por el Estado. Se inicia entonces una disputa por la propiedad al reconocer la Justicia la propiedad al Conde de Altamira. Al desamortizar el monasterio, los franciscanos tuvieron que abandonarlo, pasando el Estado a hacerse cargo del mismo. Es entonces cuando Vicente Pío Osorio de Moscoso, XVIII marqués de Astorga y XIV Conde de Altamira, se enfrenta a la decisión de la administración y alega que el monasterio se donó para que habitasen en él los franciscanos, por lo que si los franciscanos no habitaban, la propiedad debía volver a sus legítimos dueños y no pasar al Estado. El pleito duró varios años y, tras el fallecimiento de Vicente Pío, María Eulalia Osorio de Moscoso y Carvajal, su hija y heredera, XI Duquesa de Medina de las Torres, se hace cargo de San Lorenzo en la testamentería, ofreciéndolo de nuevo a los franciscanos, quienes habiendo encontrado otro monasterio donde residir, decidieron declinar el ofrecimiento. De esta manera, la duquesa de Medina de las Torres, lo restaurará y adaptará adaptándolo a la estética de un pazo gallego.[2]​[1]​

Actualmente el Pazo es explotado como complejo hostelero, ofreciendo una gran variedad de servicios (cócteles, presentaciones de productos, conferencias, desfiles de moda, comidas, cenas, reuniones, conciertos, ruedas de prensa, rodajes de películas…), en los que se incluye la posibilidad de uso para celebraciones privadas de la iglesia, el claustro (con su laberinto de boj) o los jardines privados.[4]​