Éste es uno de los fuertes más impresionantes y pintorescos de Andalucía; además, ha sido hasta ahora uno de los que se ha ahorrado los horrores de una moderna restauración. La consecuencia negativa de esta benigna negligencia es que se han realizado pocos estudios serios de este lugar, por lo que es difícil encontrar información disponible, y menos aún en la propia ciudad. El castillo no está cuidado adecuadamente y, en determinadas áreas, es potencialmente inseguro. A pesar de estar situado cerca de una pequeña plaza popular, se debe evitar fuera de las horas diurnas.
Aunque la historia de su construcción no está clara, los diferentes estilos arquitectónicos proporcionan buenas pistas para determinar las fases de su construcción. Parece probable un origen en el periodo almohade, cuando se construyó la parte principal en tabiya, al igual que las torres. Las restauraciones y reparaciones, junto con nuevos trabajos, construidos enteramente de sillería, pertenecerían a una segunda fase de refortificación, tras la toma castellana de Sevilla en 1248. Esto pudo haber tenido lugar a mediados del siglo XIV cuando la zona era el centro de la enemistad entre las familias de los duques de Medina y los marqueses de Cádiz. Los franceses hicieron algunas reparaciones posteriores durante el periodo napoleónico (1808-1813), cuando guarnicionaron el castillo para proteger el puente, de vital importancia, que se encuentra debajo.
Existen dos patios, divididos por un muro con tres grandes torres. La torre central es una construcción posterior a las otras dos. Existe también una muralla exterior, más baja, alrededor del recinto, y fosos de almacenaje y cisternas, así como huellas de una mazmorra, que pueden verse en las ruinas. Restos de muralla salen del castillo en dirección este para defender la parte superior de la ciudad.