Estas circunstancias determinaron posiblemente que la jurisdicción de Vilamarín pudiese ser administrada con relativa facilidad desde otro castillo real de cierta entidad territorial, y no contase con torre propia. Por ejemplo, desde el castillo de Alva de Búbal; desde él, en efecto, hemos visto en el siglo XIII a Fernán Peláez de Tamallancos gobernar toda la amplia tierra de Búbal, en la que radicaba Vilamarín.
Hasta 1372 en que Enrique II dona el coto y jurisdicción de Vilamarín a Alfonso Ougea de Vilamarín y sus descendientes no era menester una casa-fuerte privativa en el territorio y sólo a partir de entonces se habrá pensado en construirla.
El solar fue el llamado “Casal de Bouzoaa”, de dominio de Oseira. En 1321 el foratario lo arrienda por ocho años a Gil Fernández de Vilamarín. Ya tenemos la base. Una anotación de Oseira nos dice que este“Casal de Bouzoaa” fue después el “sitio de la casa de Vilamarín”. Se habrá renovado el foro a favor de los señores de la casa; estos habrán levantado allí la fortaleza pagando el tributo, pero poco a poco fueron haciéndose remolones al pago y acabaron alegando dominio y posesión. Sabemos que hubo litigio con el Monasterio a principios del siglo XVI y presumimos que terminaría amistosamente. Por todo ello, cabe suponer que no se levantó la casa-fortaleza hasta la primera mitad del siglo XV.
No se pueden detallar las modificaciones que habría sufrido la casa desde entonces. Pero queremos deshacer dos tópicos equivocados.
Se viene diciendo que la fortaleza “fue derribada por los Irmandiños” en 1467. Tal afirmación es gratuita, no se conoce documento que la fundamente. Otra afirmación más grave que se viene haciendo es que la fortaleza de Vilamarín “perteneció al Conde de Ribadavia”. Es totalmente falsa.
Su fisonomía es más bien de un castillo-fortaleza de corto alzado que se responde a los gustos y necesidades de la baja Edad Media. La planta del edificio se aproxima en su formulación geométrica a un hexágono. De él sobresalen, en cinco de sus ángulos, torres de defensa con matacanes en voladizo, apoyados sobre grandes canzorros. Tres de estas torres son de sección circular, aún cuando el círculo queda abierto por el lado en que se unen al cuerpo del edificio.
Otra torre semicircular adosada a un lienzo de pared se encuentra en la fachada principal con orientación N.O. y hace pandán con la torre situada en el ángulo norte, dejando entre ambas el hueco del portalón de entrada.
La casa-fortaleza es accesible por el lado N.O., donde está el portalón y el S.O. Esos lados están protegidos por una barbacana de unos seis metros de altura, con camino de ronda y saeteras que enlazan entre sí los torreones de defensa. Las alas del edificio orientadas al N.E. y S.E. no tienen barbacana, pues el terreno desciende con gran desnivel. El edificio tiene ventanas rectangulares en el piso alto. A nivel más bajo hay dos ventanas que responden a un salón situado a nivel intermedio. El portalón de entrada, de arco de medio punto, presenta enmarcada la puerta en su exterior con dovelas y jambas de cuidada sillería.
La cubierta del edificio se une a los muros mediante una cornisa moldurada, interrumpida por caños-gárgolas. Se completa la cubierta con dos chimeneas, correspondientes a la cocina y al salón. Sobre la balaustrada del matacán de la torre del oeste hay un artístico reloj de sol.
El interior del edificio presenta las dependencias alrededor de un patio con galería abierta en torno a la altura del piso alto. Una escalera de piedra arranca del patio y sigue hasta el piso superior. Este piso presenta una serie de hermosos salones comunicados entre sí y con acceso directo a través de la galería que recorre el patio en sus cuatro lados. La pieza más interesante es la que correspondía a la cocina, que presenta lareira con campana, apoyada sobre dos pilares con capiteles moldurados.
En las inmediaciones del castillo está la capilla dedicada a San Gregorio Magno. Sencilla, de planta rectangular, puerta principal con rosetón encima y espadaña de dos cuerpos, así como otra puerta lateral que mira al castillo. Estuvo primitivamente más alejada, aunque en tierras de la casa.
Podría establecerse la siguiente cronología para este conjunto: cimientos y calabozos, siglo XIV. Fortaleza: cubos, portalón de entrada, camino de ronda y torreones, escudos heráldicos y patio, siglo XVI, segundo tercio. Antigua capilla, después edificio del mayordomo y en la actualidad casa sin uso definido, reestructuración del ala oeste del edificio, sobre todo los cubos de la muralla de esta zona: 1661, maestros de cantería Domingo de Rivas, Pedro García y Antonio Rodríguez. Salones y cocina, siglo XVIII, además de la actual ermita y posiblemente el edificio de las antiguas caballerizas. Hórreo desaparecido, conservándose únicamente los pilares: siglo XX, primera mitad.