A finales del siglo XIII la inseguridad política y la situación económica de la región empeoraron de tal manera que el hijo de aquél, Gonzalo de Lastres, llamado “El Cautivo”, se vio obligado por su condición de prisionero a venderlo para pagar por su libertad. El nuevo propietario fue un personaje ilustre, Pay Arias, Alcalde de Córdoba y Señor de Espejo.
Tras el despoblamiento de la región fue abandonado en el siglo XVI.