Llegado el siglo XIX, concretamente en 1890, y con el castillo prácticamente intacto, la Casa de Alba, a la cual pertenecía, quiso vender la piedra por menos de tres mil reales. Sin embargo y por suerte para nuestro patrimonio la venta se evitó y el castillo se conservó. La planta del castillo es octogonal, siendo rodeado por un profundo foso que hoy en día está siendo recuperado (2009). Los materiales empleados son similares a las de otras fortalezas de las comarcas del norte de Galicia, formadas con muros de mampostería de pizarra y granito en sillería en sus esquinas. Estos muros se elevan unos 12 m. Lo más llamativo del recinto es la torre del homenaje, de planta cuadrada, que se levanta hasta los 18 m del suelo.
Podemos ver tres escudos en esta torre que pertenecían a la casa de los Enríquez (castillo, león y los seis roeles), de los Osorio (dos osos y un palo en el medio) y a la de Valcárcel. Arriba de todo estaba coronada por almenas. Además de la torre, podremos ver la plaza de armas con su pozo de agua, la sala de armas, el comedor, los aposentos, las caballerizas y los alojamientos de la servidumbre. Una escalera de caracol une el patio con las murallas defensivas. Las puertas y ventanas nos muestras un estilo gótico por sus apuntados arcos. Desde el 22 de abril de 1949 el castillo fue protegido por la Ley de Patrimonio Histórico Español. En septiembre de 2009,el Castillo, después de una profunda restauración ha sido abierto al público.
Una de las leyendas más conocidas es la del amor entre la hija de un señor feudal y un plebeyo. El señor feudal enterado de esto, mandó atravesar el corazón de plebeyo. La hija nunca más quiso salir del castillo y murió entre sus muros a los pocos años.
Para conmemorar la rebelión de los plebeyos en contra a los señores feudales, debido a su opresión contra el pueblo en el siglo XV, se celebra desde 1980, el Festival Irmandiño de Moeche cada tercer fin de semana de agosto. Además de comidas campestres, con sardiñadas se representan actuaciones de grupos folclóricos y la representación del asalto al castillo con antorchas en la medianoche.