Reseña histórica
El conjunto revela dos fases constructivas netamente diferenciadas. La torre debió erigirse en el siglo XV, centuria en la que perteneció al duque de Arévalo. La construcción del palacio fue ordenada, en la segunda mitad del siglo XVI, por doña Isabel Osorio, a quien los historiadores atribuyen la condición de amante de Felipe II. Entre la nómina de propietarios subsiguientes figura el linaje Fernández de Velasco.
Características arquitectónicas
Palacio y torre son componentes de edificación independiente. La torre es muy sobria, de planta cuadrada. En origen se remataba con almenas. Tras el incendio que la devastó a finales del siglo XVIII fue reconstruida y reformada. Ni la alhajada ventana geminada ni los restantes elementos ornamentales que se aprecian en sus muros corresponden, según salta a la vista, a la fábrica original.
El palacio se abre al exterior mediante hermosa galería porticada de dos plantas con arcos rebajados de diseño próximo a los escarzanos.
Estado de conservación
Ha sido completamente restaurado. Es propiedad de una Caja de Ahorros.
(Los castillos y fortalezas de Castilla y León - Carlos . Martín Jiménez)