En el interior del castillo se observa un amplio patio abierto dominado por un gran aljibe, al que iban a parar las aguas procedentes de los techos de las habitaciones. Estas se encontraban unidas por balcones corridos, según nos cuenta don Lamberto Amat que visitó el castillo a principios del siglo XIX, antes de su destrucción.
Los restos de estas habitaciones podemos verlos en el área a mediodía del recinto, en la que se puede visitar una nave de planta rectangular cubierta con bóveda de medio cañón apoyada sobre arcos, y que, parece responder a la capilla del Palacio. Junto a ella, existen otras habitaciones unidas por escaleras de las que desconocemos su uso. Adosado a éstas hay un gran edificio de planta rectangular y de tapial que podría corresponder a la primera planta de una posible torre musulmana existente en el recinto antiguo, antes de las reformas y adaptaciones bajo-medievales.
Por el Tratado de Almizra pasó a depender de la corona castellana y en ese mismo año fue donado junto con la villa a D. Guillermo el Alemán; años más tarde, en 1257, Alfonso X se lo concedió a su hermano el infante Don Manuel, el cual lo cedió posteriormente a su hija Doña Violante Manuel.
En 1305, por la firma del Pacto de Elche pasó a formar parte, junto con el lugar de Elda, de la corona aragonesa.
Lo que hoy podemos ver corresponde casi todo a las reformas llevadas a cabo en el castillo durante los siglos XV y XVI, bajo los señoríos de Ximén Pérez Ruiz de Corella y los Coloma, condes de Elda; aunque la obra antigua debe pertenecer a fines del siglo XII-principios del siglo XIII.
(según Rafael Azaur y Francisco J. Navarro en CASTILLOS DE ALICANTE)