El castillo estuvo ligado a la Orden de Santiago, que creó la encomienda de Bedmar y Albanchez. Lo que de él se conserva es su alcazarejo, construido con mampostería, que consta de dos pequeños núcleos impresionantes por su aspecto exterior y el cerramiento de la peña sobre la que se asienta, pero con escasa capacidad interna para albergar tropas y enseres. El núcleo más alto es una estrecha plataforma rectangular que habilita un reducido espacio interior. La entrada se abre a la terraza de un torreón de planta rectangular que albergaba dos cámaras: una superior, cubierta de bóveda de medio cañón, hoy derruida, y otra inferior, un aljibe, con bóveda ligeramente apuntada y restos del estuco que lo recubría. El castillo contaba, además, de un pequeño patio de armas triangular con parapeto almenado y ventanas saeteras, terraza cuadrada con albarrana para defender sobre el precipicio, muros protectores, hoy prácticamente destruidos, y esquinas redondeadas exteriores como correspondía a un castillo calatravo.
Fue declarado Bien de Interés Cultural en 1985.