En esta zona, se estructura un paño de mampostería irregular de unos 40 m de longitud adosado a la roca madre. En el lado Sur del mirador quedan restos de la esquina Sudoeste de la muralla, con un reforzamiento de la misma en hiladas de sillares. Todos estos restos nos trazan un recinto amurallado de forma rectangular en el que no se distinguen otros elementos del castillo, ya que éste se encuentra terraplenado y con unas estructuras del siglo XX, en concreto, una pérgola central y una balaustrada que forman parte del mirador superior.
El origen del castillo es posterior a la fecha de concesión de la Carta Puebla de Benidorm (8 de mayo de 1325), en la que se documenta que no existía ningún edificio en la Punta de Alfalig, y que el Almirante Bernardo de Sarriá mandó que en dicho lugar debía construirse el castillo y la villa de Benidorm, formando parte del señorío de dicha familia y dependiente de la Baronía de Polop.
Se trata de una fortificación y villa de fundación señorial de la segunda mitad del siglo XIV, creada por razones estratégico-políticas para defenderse de los continuos ataques costeros de los piratas sarracenos, y también para el aprovechamiento comercial y pesquero de la zona.
Durante el siglo XVI se realizaron diversas reparaciones y ampliaciones en esta fortificación; pero a partir de ese momento este recinto se va deteriorando progresivamente y, a pesar de los informes de expertos para su adecuación defensiva, al no pertenecer a la Corona ni sus propietarios estar en condiciones económicas para hacerse cargo de sus obras, el castillo se va estropeando y abandonando.
En la guerra de la Independencia el castillo fue destruido en un bombardeo realizado por los ingleses al retirarse las tropas napoleónicas, quedando sólo unos pocos restos de sus murallas.
(según Rafael Azaur y Francisco J. Navarro en CASTILLOS DE ALICANTE)