El palacio perteneció a la familia Desvalls, marqueses de Alfarrás. En 1610, Baells todavía conservaba el nombre de Bays, que es el que aparece en la descripción de Labaña, de esa misma época.
Se trata de un magnífico ejemplo renacentista de casa señorial o palacio fortificado de la nobleza. Su construcción se hizo adosada a la antigua fortificación islámica, de planta rectangular, y de unos 7 metros de lado, de las que aún se conservan claras señales en su fachada norte, y que fue conquistada antes de 1090, pasando a depender de los Vizcondes de Arger y Condes de Urgel.
El Castillo-Palacio es un edificio de planta rectangular de 24 metros de fachada y que tiene adosado como elemento destacado la torre del homenaje de 6 x 5 metros y cinco pisos de altura, que le da el aspecto de fortaleza, todos los elementos están levantados en bloques de piedra arenisca y rematadas en el último piso por obra de ladrillos de ventanales de medio punto en el primero y rebajados en la torre.
La galería de arcos de medio punto característica de los palacios renacentistas aragoneses, le dan un aspecto más acogedor y señorial.
El castillo está cerrado por una muralla que delimita un amplio patio de armas.
La obra es anterior a la construcción de la iglesia de Nuestra Señora de la Asunción, aunque pudo ser también construida por los Maull que eran los señores de las" varonías" de Baells, Nachá y La Cuba, antes de que pasara en el siglo XVII a manos de los Desvalls.
(Rutas con historia)