La construcción original es de origen musulmán. En 1171, el castillo es conquistado por Alfonso II. Desde entonces, se convirtió en testigo de las continuas luchas entre los reinos de Castilla y Aragón.
Uno de los hechos históricos más recordados fue cuando el rey aragonés Pedro de Jérica se sometó al rey castellano Pedro I el Cruel. Sin embargo, los vecinos, en desacuerdo con el rey castellano, dejaron las puertas abiertas para facilitar la reconquista por parte del rey aragonés.
Posteriormente, en el siglo XVIII fue ocupado por una orden de predicadores franciscanos.
El castillo presenta elementos románicos y góticos. El recinto ocupado por el castillo tiene una extensión de 4.000 metros cuadrados, con una planta poligonal irregular. Las cuatro fachadas son distintas, así como las cuatro torres.
El interior está decorado con arcos ojivales de clara influencia musulmana, y varios escudos de los Fernández de Heredia.
El principal material empleado en la fortaleza, tanto en los muros como en las torres, es la piedra trabajada en sillares alineados en bandas horizontales.