Durante el siglo XI el Castillo pasara de ser un lugar puramente defensivo a convertirse en una residencia señorial. El nombre de Suda, apelativo que adaptará a partir de aquellos momentos, indica claramente esta doble función. Los restos arqueológicos también han confirmado este hecho: les yeserías que hoy son guardadas en el Museo de la Noguera son el máximo exponente del palacio andalusí que, sobre los años 1046 - 1047 elevará Ysuf al-Muzaffar.
Con la conquista de Balaguer (1105) por las tropas de Ermengol VI, el Castillo entra en la fase cristiana, y pasa a ser residencia temporal de los sucesivos Condes de Urgell hasta el año 1314, momento en que Alfonso de Aragón convierte Balaguer en la capital del condado y el castillo en su sede permanente. Esto significara que el castillo se verá sumergido en grandes reformas constructivas de gran belleza. De aquí el nombre de Castillo "Formós" (Hermoso).
Desgraciadamente, un asunto político, el Compromiso de Caspe, fue el responsable de la desaparición del castillo (séquito del 1413) en manos de las tropas de Fernando de Antequera, y también del fin del Condado de Urgell con el último conde, Jaime II, el Desdichado.
En su interior, encontraran carteles explicativos de las antiguas dependencias del castillo.
En las distintas excavaciones que se han efectuado se han encontrado importantes vestigios que pueden verse en el Museo de la Noguera, uno de los mejores museos de arte islámico.