Cuando al-Mansur murió en agosto de 1002, Ramón Borrell, conde de Barcelona y Ermengol, conde de Urgell organizaron una expedición a la tierra sarracena, donde tuvo lugar la llamada "batalla de Albesa", en ésta murió Berenguer, obispo de Elna y hermano del abad Oliba.
En al año 1109, este castillo aún se encontraba en poder de los sarracenos, ya que tenía una importancia excepcional para la defensa de Lérida. En 1120, el castillo fue dado como prenda en un pacto de ayuda y de fidelidad mutuas entre el conde Ramón Berenguer III y Avifelel, alcaide de Lleida. En 1122, Ermengol VI, conde de Urgel ganó la villa de Albesa.
Quizás esta villa fue perdida el año 1126 en la batalla de Corbins, pero el año 1149 fue reconquistada de nuevo por el conde de Urgell y hacía la concesión de una toma de agua cerca de Albesa a los Templarios, para regar las tierras de Corbins.
En 1163, en una carta de Menàrguens, sale Albesa como ofrenda de aquella villa. En 1236, el rey Jaime I concedió en feudo este castillo entre otros a Ponç de Cabrera. En 1255, era del señor Galcerán de Pinós. En 1270, el rey Jaime I incorporó a la Corona los castillos de Menàrguens y Albesa, esto lo hizo una vez muerta María Gonzalvo, madre de Álvaro, conde de Urgell. En 1273, Galceran de Pinós "el Joven", daba por cinco años los diezmos, censos y derechos que percibía de Albesa a su mujer Berenguela.
En 1278, Ermengol X, conde de Urgell , prestó juramento de fidelidad al rey por varios castillos, entre ellos el de Albesa. En 1326, Ramón Sespunyola, legó todos los derechos que poseía sobre este castillo a su sobrino, Ramón de Josa. En 1331, se construye el puente que une las dos orillas del Noguera Ribagorzana. En 1381, contaba con 97 fuegos, pertenecía al condado de Urgell ya la veguería de Lleida. En tiempos de Pedro de Aragón, conde de Urgell (1347-1408 ), ocurrió en el puente de Albesa el milagro representado en la pintura al fresco de la ermita de Santa María del Merli. En 1440, era señora de Albesa la condesa de Pallars. En 1831, Albesa pertenecía al conde de Fuenclara y contaba con un censo de unas 800 personas.