La primera etapa del castillo arranca en la Edad Media, presumiblemente en los últimos cien años de esta época. Que haya pertenecido a la casa de Sotomayor hizo que desempeñara un papel importante en acontecimientos transcendentales en la historia de Galicia. Pedro Álvarez de Sotomayor, conocido como Pedro Madruga, fue el personaje más destacado de esta familia, con el que logró la mayor cota de poder y, en consecuencia, la renovación del castillo.
Del protagonismo ejercido durante las contiendas bélicas el castillo pasa a su segunda etapa, en la que cobra un carácter residencial y de administración del señorío. Durante la Edad Moderna seguirá siendo propiedad de la familia original pero poco a poco empieza el declive debido a sus disputas internas. A finales del siglo XVIII Benito Fernando Correa, tras largos pleitos, se queda definitivamente con el castillo, en el que efectúa algunos cambios, como la sustitución del escudo de armas de la puerta principal por el suyo propio.
En la tercera etapa el castillo de Soutomaior se convierte en estancia de verano de los marqueses de la Vega de Armijo, que, tras las obras de restauración, transforman la fría fortaleza en una acogedora casa residencial. De esta época son la capilla y los árboles del parque que aún hoy se conservan. Los herederos de los marqueses mantienen el interés por la fortaleza y llegan a construir un sanatorio en las inmediaciones, pero a principios del siglo XX pierden el castillo por motivos políticos. Éste sale a subasta en 1917, lo que lleva a su decadencia y abandono. Después de varias ventas y el deterioro de sus instalaciones, en 1982 lo adquiere la Diputación de Pontevedra. Hoy es afortunadamente un patrimonio público.
(Diputación de Pontevedra)