Con una superficie amurallada de unos 3.700 metros cuadrados es una de las fortificaciones más extensas de la zona. Sus muros, hechos a base de mampostería, podían alcanzar los cinco metros de altura, y todavía se pueden seguir algunos tramos. También ha llegado hasta nuestros días una torre de planta redonda, también de mampostería, con una gran aspillera que encontramos en la senda de acceso al Castillo.
Los aragoneses lo conquistaron en marzo de 1261, y tras la enésima revuelta encabezada por Al-Azraq en 1276 quedó abandonado. Pero antes de que los musulmanes levantasen el Castillo de Borró, los íberos y los romanos ya estuvieron en la Peña, como demuestran los restos que se han encontrado en ella.