El castillo pudo ser en origen un asentamiento castreño. Varios han sido sus ilustres moradores, entre ellos doña Urraca que eligió esta fortaleza como lugar de retiro o el obispo Acuña en cuyo castillo se hizo fuerte al comienzo de la guerra de las Comunidades y en cuyas mazmorras tuvo preso al alcalde Ronquillo de Fermoselle.
Localización
Se encuentra situado en el casco histórico de Fermoselle. Fue construido sobre los imponentes farallones desde los que se facilitaba la defensa de esta localidad amurallada.
Datos históricos
Existen indicios de que antes de su construcción, su solar estuvo ocupado por un asentamiento castreño. Según fuentes de comienzos del siglo XIII el castillo era propiedad de la diócesis de Zamora. Con anterioridad perteneció a doña Urraca, esposa del rey Fernando II de León. Más tarde, en el siglo XVI fue plaza fuerte en la guerra de las Comunidades y bastión frente a la vecina Portugal, llegando a ser tomado durante la guerra de Restauración portuguesa por las tropas portuguesas en 1654.
Conservación
Parece ser que en el siglo XVIII es objeto de distintas reparaciones por el ingeniero Benigno Garrido Marcos, sin embargo, el proceso de ruina, por un lado, y las desafortunadas construcciones realizadas en su solar y entorno han provocado que los vestigios se limiten a pequeños lienzos de muralla en su lado meridional. Junto a ellos quedan restos de una puerta denominada "la del Villar" o "el Arco" por conservar de ella el arco apuntado.
Los exiguos restos del castillo tienen la protección específica con categoría de bien de interés cultural, conforme al Decreto 22 de abril de 1949 sobre Castillos Españoles (BOE de 5 de mayo).