Una vez acabada la torre de San Pedro, el castillo hubo de esperar hasta 1598 para que el Ingeniero Mayor Tiburcio Spanocchi plantease su construcción, que por falta de medios económicos, hubo de postergarse el proyecto hasta 1615, que volvió a retomarse el asunto aprovechando la visita del rey Felipe III, que iba hacia la Isla de los Faisanes, en la frontera francesa, para la entrega de su hija doña Ana de Austria y al recibimiento de la princesa Isabel de Borbón, en cuyo honor bautizaron el castillo.
Aún así el castillo hubo de esperar hasta 1621, reinando ya Felipe IV, para que se empezara a construir en las inmediaciones del viejo molino de Churrutella (Txurrutella-errota). Pero una vez más, la falta de medios económicos impidió que la fortificación fuera terminada, construyéndose únicamente la base de la plataforma de artillería.
Las obras se reanudaron pero se volvieron a paralizar nuevamente en 1633 por desacuerdos entre los ingenireros encargados de su construcción.
El castillo de Santa Isabel, era casi inexpugnable por mar, pues sus 12 cañones defendían y enfilaban muy bien la entrada del puerto, aunque no podían dar la menor protección a los buques que buscaran refugio en él, porque éstos podían ser perseguidos hasta la misma bocana del puerto, donde las peñas de Arando les protegían del ataque de la artillería.
En cambio por tierra era incapaz de defenderse del más ligero ataque. En 1638 el ejército francés al mando del príncipe Condé bajaron de Jaizquibel y conquistaron con suma facilidad el inconcluso castillo y en 1719 volvió a ser tomado por las tropas francesas, que realizaron en él algunas modificaciones de importancia.
Durante la Primera Guerra Carlista, el almirante inglés Lord John Hay, quien estuvo en la zona apoyando al bando liberal, mandó construir un fuerte sobre el monte Arrobi o Arrokaundieta a cuyos pies se encuentra el castillo de Santa Isabel, con el fin de protegerlo de los ataques desde Jaizquibel. Parece ser que este fuerte pudo ser el llamado "fuerte de Colón" o "reducto de Isabel", aunque debió tomar pronto el nombre de Lord John Hay, pués cuando se levantó en las inmediaciones el actual fuerte en la última Carlistada, conservó la denominación anterior.
El frente marino estaba formado por un grueso muro quebrado de seis tramos dotados de desigual longitud y orientación que sostenía el terraplén de la plataforma principal. En el sector de parapeto que miraba directamente hacia la embocadura del canal del puerto se abrían cuatro cañoneras y, bajo ellas, otras tres más se abrían en otras tantas casamatas subterráneas. Una garita de vigilancia quedaba inserta en la confluencia de dos lienzos de muralla.
El frente de tierra estaba formado por una elevada muralla, sobre la que podía permanecer la tropa a cubierto de un débil parapeto. La misma estaba constituida por nueve cortos lienzos de distinta orientación que entre sus requiebros permitían el acomodo de un pequeño edificio (alojamiento del capellán y, más tarde, cuartel de artillería). Al abrigo del mismo muro, pero partiendo de menor altura, se encontraba un edificio de mayores dimensiones, planta rectangular y cuatro pisos de altura que sirvió de cuartel.
El castillo de Santa Isabel dejó de prestar servicio en 1867, aunque fuera utilizado posteriormente en las Carlistadas. La plataforma artillera, principal elemento del castillo, fue destruida por los trabajos emprendidos en la primera mitad del siglo XX para mejorar el canal de entrada al puerto.
Actualmente los restos bien conservados del antiguo castillo o fortaleza de Santa Isabel, se levantan recortados contra la montaña y hundiendo sus cimientos en ella. Ha perdido su aspecto de fortaleza y hoy se reduce a unos sólidos muros, de sillar de arenisca, de unos dos metros de anchura, y a algún torreón aislado. Estos muros son completamente ciegos, y en algunas partes alcanzan gran altura. En el interior de esta fortaleza se ha edificado una vivienda particular