Sin embargo en algunos de sus sillares aparecieron inscripciones de la época ibera que lo situarían como el castillo más antiguo de Andalucía y que ha pasado por no pocas vicisitudes.
Residencia de los Marqueses de Jódar, cuartel de las fuerzas imperiales de Napoleón u hospital para enfermos de cólera.
Fue declarado monumento histórico en 1985.