La torre más grande es la situada en el extremo Norte, en la parte más expuesta a la población. Tiene gruesos muros y mantiene toda su altura, con fragmentos del revestimiento de piedra en la parte más alta, aunque ha perdido la zona superior de los lienzos Suroeste y Noroeste. Tuvo varios pisos de madera y se conserva el acceso desde el adarve a la altura del segundo.
Del centro de los lienzos Sudeste y Suroeste parten los muros que le unían con las otras torres, donde también se aprecian restos del mismo. El tramo que la une con la situada en el Este es el más amplio, conserva toda su altura y 2,5 metros de grosor. Tiene un gran hueco que pudiera corresponder a una ventana.
La torre Este también conserva toda su altura y revestimiento de piedra en la parte superior. Asimismo, ha perdido el lienzo Suroeste hasta por encima del primer piso, apreciándose el interior macizo.
La tercera, al Oeste, presenta bastante menos altura, poco más de un piso, y aparece agrietada en su esquina Oeste. En ninguna de las torres se aprecian huecos que pudieran corresponder a ventanas.
Fue famosa la prisión de la fortaleza que se reservaba para grandes delitos o "delitos políticos", quedando prohibido desde mediados del siglo XV encerrar en la misma a los vecinos de la villa.
Un fuerte huracán el 16 de agosto de 1641 derribó parte de la muralla, afectó a la puerta principal, y ocasionó la pérdida de parte de las torres del castillo y gran parte de la techumbre. Un nuevo huracán a finales de 1739 debió de dejar la fortaleza inhabitable.
Es conocida documentalmente la existencia de un segundo castillo, ya desaparecido en 1218, que se emplazaba en el despoblado de El Moral, en la confluencia de los ríos Arlanza y Arlanzón.
(Castillos de Palencia)