Tras la conquista cristiana, pasó a manos del Infante Don Manuel, hijo de Fernando III, para acabar en poder de la casa condal de Santa Eufemia en el siglo XV, tras intercambiarlo con los Fernández de Córdoba por las posesiones que los Mexía tenían en la campiña. Ha permanecido vinculado a la casa de los Mexía y al marquesado de la Guardia hasta 1912.
De su antiguo esplendor musulmán nos ha llegado su traza y la torre del homenaje, de planta cuadrada coronada por merlones. Durante los siglos XIV y XV, en el Castillo El Madroñiz se realizaron diversas actuaciones, momento al que pertenecen los dos torreones cilíndricos que flanquean la puerta de acceso al gran patio con murallas almenadas. La sobria decoración se limita a los dinteles de algunas puertas, ornamentados con labores de ataurique mudéjar de influencia toledana, así como a los escudos de los señores de Santa Eufemia.
Restaurado y en perfecto estado de conservación ha sido premiado por la Asociación Amigos de los Castillos, siendo el edificio más significativo de la arquitectura civil de El Viso.
(Así es Andalucía)