En 1353 se autoriza la reedificación de un castillo en el lugar de Samuelle. Hacia 1478 es levantado de nuevo por Pedro Madruga siendo demolido en 1482. La actual torre, ubicada en el lugar de Outeiro y de estilo renacentista, recibió autorización para construirse en 1532 por la reina Juana la Loca a petición de Don Álvaro Suárez de Deza. Su construcción es posterior, por tanto, a esta fecha. Su planta es cuadrada y tiene cuatro alturas. Conserva en su planta alta las ventanas rematadas en forma de arco conopial y se corona mediante almenas y garitas en sus ángulos. En su lado sur puede contemplarse el escudo de los Suárez de Deza.
El conjunto del pazo se dispone configurando una planta rectangular con esta torre situada en su vertiente oriental. En la fachada principal dos escalinatas de acceso, conduciendo una de ellas a la terraza de grandes dimensiones.
En el lado occidental del edificio se dispone otra torre de menor perímetro en línea con la levantada en el siglo XVI. Muy próxima al pazo se encuentra una capilla exenta de pequeñas dimensiones.