En el siglo XV los terrenos de la villa empezaron a formar parte de los señoríos de la Casa de Zúñiga y los señores se encontraron con una zona insegura y frecuentemente atacada por piratas berberiscos y normandos. Entre 1417 y 1420 se inició la construcción de la fortaleza, refugio ideal para la población y que terminó por consolidar el actual poblamiento. Hasta que el marqués de Gibraleón Pedro de Zúñiga y Manrique de Lara, no ganó un pleito a Alfonso de Guzmán, señor de Ayamonte y Lepe, por el cual pudo establecer un paso en barca a través del río Piedras y fundar junto a él la población para poder defender dicho paso, no hubo en la zona cierta normalidad.
En él destacan su patio de armas y las murallas de más de ocho metros de altura que fueron restauradas a finales de los años 1990. Se complementa con la puerta mudéjar de acceso al recinto. Disponía además de siete torres almenadas y una segunda muralla baja exterior, ambas ya desaparecidas. Su misión era la de vigilancia de los terrenos que limitaban los señoríos de Lepe y Gibraleón, sobre todo del Piedras. En el siglo XVIII se proyectó reconvertirlo en cuartel para cuerpo de guardia pero descartado el proyecto terminó abandonado en 1812.