En 1055 la condesa Ermessenda hizo donación de la villa a Santa Maria de la Seu d'Urgell, si bien mantuvo el control sobre el castillo. Dos siglos más tarde, en 1280, Arnau Roger Y de Pallars se unió a otros nobles para alzarse contra el rey Pere II. Cuando sometió a los sublevados, éstos cedieron algunas tierras y posesiones al monarca, entre las que se encontraba Sort.
Los súbditos de los condes de Pallars intentaron recuperar el control del castillo, conquistándolo en varias ocasiones entre finales del siglo XIII y el año 1327, pero el rey Jaume II recuperaba una y otra vez su control.
Ya en el siglo XV Hug Roger III se declaró en contra del Rey Joan II en este castillo. Al ser derrotado fue encarcelado en Xàtiva, dónde murió en 1503 y el condado fue vendido a los condes de Cardona. Estos concedieron numerosos privilegios a la villa y convirtieron el castillo en palacio, que posteriormente abandonaron en el siglo XVII.
El año 1842, el duque de Medinaceli cedió el castillo al ayuntamiento para instalar el cementerio municipal.
Actualmente el castillo presenta un estado de ruina, quedando en pie algunos de sus muros y torres.
De la muralla que rodeaba el recinto, el fragmento mejor conservado corresponde al sector este. Está formado por grandes sillares irregulares y fue construido entre los siglos XI y XII. En los extremos podemos ver dos torres circulares.
En el oeste se conserva una gran torre de planta circular, identificada como la torre del homenaje. Hasta el siglo XVII alojó la prisión.
En época gótica se construyó un palacio, del cual se conserva el muro este, dónde destaca la gran puerta dovelada y dos ventanales góticos, muy restaurados.