El castillo se alza sobre el gran promontorio desde el que se divisa el conjunto de la población, siendo un claro ejemplo de los castillos roqueros de la época de Al-Ándalus. Presenta una planta en forma de triángulo, truncado por su lado nordeste, con su lado mayor mirando hacia el sur y con un gran espacio central. Se encuentra envuelto por un lienzo de muralla con torres flanqueantes en los ángulos sureste y suroeste. El lado nordeste está cerrado por un edificio de planta rectangular, al que se adosa por el oeste una torre pentagonal en proa, y, por el este otra torre, encontrándose así mismo adosado con el edificio del pósito. El acceso primitivo al castillo se cree se realizaría por el lado nordeste mediante un acceso en recodo a través de una torre adosada al edificio rectangular primitivo.
La totalidad del conjunto está envuelta por una barbacana y un foso, prolongándose dicha barbacana por la línea de la muralla de la alcazaba o villa, la cual abarca, junto con el castillo, la parte más elevada del promontorio y de la actual ciudad, conformando el conjunto del castillo y de la alcazaba uno de los conjuntos monumentales más singulares de ese momento. En el espacio interior que comprendía la alcazaba se localizaba con toda probabilidad el espacio de la mezquita, la cual se piensa estuvo situada en el actual emplazamiento de la parroquia, así como los baños y las casas de los nobles.
El núcleo primitivo del castillo se encuentra la nordeste y está constituido por una torre y una estancia, a la cual se accede por un arco de medio punto formado por seis dovelas que se apoyan sobre salmeres convexos, no obstante, el paso del muro es de tipo adintelado y presenta a ambos lados unos huecos rectangulares para albergar las hojas de las puertas cuando estuvieran abiertas.