Historia
Fue inicialmente una fortaleza romana, que posteriormente fue ocupada por los musulmanes. En el siglo XI, el castillo fue tomado por el rey Alfonso VI de Castilla, poco antes de la caída de Toledo. Durante dicho reinado y los reinados siguientes, la zona de Escalona y su castillo soportaron los ataques de los musulmanes.
Álvaro de Luna, Condestable de Castilla, amplió la construcción, añadiendo la parte palaciega. En el año 1281, la fortaleza pasó al poder del Manuel de Castilla, hijo de Fernando III y hermano de Alfonso X. En este castillo nació el poeta, escritor y literato Don Juan Manuel , hijo del infante Manuel de Castilla y nieto de Fernando III de Castilla. Dicho castillo pasó a poder de Juana Manuel, hija de Don Juan Manuel de Castilla, que contrajo matrimonio con su pariente Enrique de Castilla (el futuro Enrique II, hermano de Pedro el Cruel e hijo de Alfonso XI).
El rey Juan II (biznieto de Enrique II de Castilla y de Juana Manuel de Castilla), entrega la propiedad al caballero Álvaro de Luna - condestable de Castilla (tataranieto de Sancho Manuel de Castilla – señor del Infantado y de Carrión, que era hermano de Don Juan Manuel, príncipe de Villena. Álvaro de Luna, privado del rey Juan II de Castilla lo engrandeció y construyó el palacio, convirtiéndolo en el centro de sus posesiones. En él se realizaron grandes fiestas en honor del rey, que quedaron plasmadas en las crónicas de la época. Tras el arresto de Álvaro de Luna por orden regia, su mujer Juana Pimentel se encastilló en él junto a sus hijos Juan de Luna y Pimentel y María de Luna y Pimentel. El rey acudió a sitiar la fortaleza donde se suponía que se custodiaban las grandes riquezas del antiguo privado. Álvaro de Luna fue ajusticiado en Valladolid por orden regia, acusado de atentado contra la majestad del rey. Finalmente, el rey se avino a negociar con la viuda y le concedió poder mantener parte del patrimonio de su marido para su hijo, pero debiendo entregar la fortaleza y todo su contenido al rey.
Enrique IV (hijo de Juan II de Castilla y de María de Aragón), a la muerte de Álvaro de Luna, entregó la propiedad al caballero Juan Pacheco.
Durante el siglo XV, la localidad fue uno de los principales escenarios de los enfrentamientos internos en el reino castellano, el último de tales enfrentamientos permitió a Isabel de Castilla (hermana de Enrique IV e hija de Juan II) acceder el trono castellano con el nombre de Isabel I.
El palacio-fortaleza fue destruido por varios incendios, alguno ya en época de Álvaro de Luna. Hoy día está en ruinas aunque ha sido restaurado en parte. Es de propiedad privada.