En 1474, siendo alcaide don Alonso Fernández de Córdoba, el castillo es atacado por su pariente el Conde de Cabra don Diego Fernández de Córdoba y defendido por Gonzalo Fernández, el Gran Capitán, que es hecho prisionero en la defensa y más tarde liberado por los Reyes Católicos. Durante estos acontecimientos el castillo es destruido en gran parte, sufriendo asimismo grandes desperfectos el recinto amurallado de la ciudad.
Obra musulmana de época almohade, acaso de finales del siglo XII, destaca el recinto amurallado que acoge el Patio de Armas, la Torre del Homenaje y dos amplios aljibes que las construcciones modernas han ido transformando y enmascarando. Especial interés tiene el lienzo de muralla que asoma y domina la Plaza Mayor, en el que se ve una típica puerta con arco de herradura y entrada en recodo, así como la mencionada torre, que los habitantes de Santaella llaman “El Castillo” y que está construida con muros de adobe donde se prodigan los típicos mechinales. Una reforma renacentista anima su exterior con un precioso ventanal almohadillado.