Ochenta años más tarde, en 1587, el séptimo duque de Medina Sidonia es el que comienza la construcción de un baluarte para que la villa estuviese defendida de los ataques de los barcos moros, así como de los piratas, aunque debió ser un castillo bastante pequeño porque el año 1635 el octavo duque, Manuel Pérez de Guzmán, comienza la construcción en la barranca llamada del Espíritu Santo, siendo el coste del mismo 1635 reales de vellón, aun sin contar las piedras que se pudieron necesitar. El castillo es renovado y arreglado el año 1770.
El año 1744 tenemos noticias de que se saca la polvora del Castillo de Santiago, por estar en un sitio muy peligroso y con mucha gente en los alrededor y se lleva a un almacén que se realizó junto al castillo del Espíritu Santo.
Aunque ya se había hablado del traslado a un sitio más seguro fue motivado por la caída de un rayo en el coro del Convento de San Diego, un lugar muy cercano al Castillo de Santiago.
El 5 febrero 1810 tiene lugar la entrada en Sanlúcar la entrada del ejército francés de Napoleón, sin que en la ciudad se produjera ningún tipo de resistencia, que de este tema ya hablaremos en otro comentario. El cuartel general de los franceses se pone en el Castillo de Santiago, y las tropas se colocaron en los lugares considerados como más estratégicos de la ciudad, Baluarte del Espíritu Santo y San Salvador de la playa de Bonanza, donde permanecieron hasta la retirada de las tropas.
Después de la liberación de Sanlúcar de los franceses, el gobierno inglés impone con la absurda idea de que no pueda ser nuevamente tomado por un enemigo, o lo mismo para que no les pudiera molestar a ellos en caso de guerra, que se vuele el castillo del Espíritu Santo, siendo permitida y autorizada la voladura por el gobierno español, que por aquellos años tampoco se encontraba con mucha fuerza.
Siguiendo las instrucciones recibidas, se encomienda la voladura del Castillo del Espíritu Santo al maestro mayor de obras públicas de la ciudad, Cristóbal Moreno, que la ejecuta el 8 de febrero del año 1813.
Claro que mucha gente se preguntará si el baluarte fue volado como se encontraba bastante completo hasta hace un siglo, y los restos continuaron hasta los años setenta. Tiene una explicación muy fácil: Cuando Cristóbal Moreno llega a ejecutar la orden recibida de la voladura, se encuentra con un problema de difícil solución, porque no tenía suficiente pólvora para hacerlo, con lo cual la voladura quedó a medio terminar.
(Curiosidades de Sanlúcar)