La primera construcción data del año 1507, y consistía en una torre de vigilancia mandada hacer por el III duque de Medina Sidonia, Juan Alonso Pérez de Guzmán, con el objetivo de asegurar la ciudad ante la llegada de los barcos corsarios berberiscos.
En 1587, el VII duque, Alonso Pérez de Guzmán el Bueno, añadiría a la mencionada torre un pequeño baluarte, aunque, probablemente debido a sus pequeñas dimensiones, más tarde, en 1634, el VIII duque, Manuel Alonso Pérez de Guzmán el Bueno, comenzaría la construcción del castillo más al borde de la barranca. La fortaleza, llamada del Espíritu Santo debido a la antigua ermita del mismo nombre que se encontraba en las inmediaciones, estaba custodiada por un capitán, seis artilleros y ocho soldados.
El Castillo del Espíritu Santo sería renovado en el año 1770 por Carlos III. Sin embargo, fue tomado por las tropas francesas en 1810, por lo que tras la expulsión de estas el gobierno inglés sugeriría su demolición, la cual se termina efectuando el 8 de febrero de 1813.
(Wikipedia)