El solar fue objeto de ocupaciones en etapas diversas, a partir de una primera fase ibero-romana. El castillo de Poley ya aparece citado a partir del siglo IX, conociéndose que fue reforzado por Umar Ibn Hafsun para ser después destruido y vuelto a rehacer.
Cuando Aguilar fue tomada por los cristianos, su fortaleza ganó en importancia estratégica para atacar el reino de Granada. Actualmente, del castillo, en ruinas, sólo quedan escasos restos, que hablan de una construcción altiva y poderosa. Algunos trozos de lienzo de los muros y unas escasas partes de una torre en el peñón del Moro permiten escasamente al viajero contemplar el esplendor de la añeja fortaleza.
A pesar de ello, el castillo es visita obligada, gracias a las privilegiadas vistas que permiten su privilegiada posición.
(Artehistoria)