Johán Garcia de Padilla adquiere en 1327 la casa fuerte de Cordovilla por un importe de 850 maravedis. En 1377 parte de esta casa es empeñada a Gonzalo Ruiz de Cordovilla por 100 maravedis hasta su devolución.
En el Becerro de las Merindades figura como lugar solariego de Juan García de Villandrando, Juan Rodríguez de Santovar y Garci Gutiérrez de Villandrando.
Es probable que en 1451, tras la sublevación del Almirante de Castilla Don Alonso Enríquez contra Don Alvaro de Luna, favorito del Rey Juan II, la casa fuerte fuera ocupada por las fuerzas rebeldes al igual que las fortalezas de Palenzuela y Hornillos de Cerrato.
En 1753 el lugar estaba despoblado, únicamente habitado por el guarda montero Manuel Hernando. Pertenecía al Convento de las Claras de Calabazanos.
Un siglo más tarde pertenece a Don Lorenzo Moratinos Sanz, primer vizconde de Villandrando y célebre político palentino que restaura la casa fuerte en la que coloca sobre la puerta una placa con la siguiente leyenda: "Castillo de Villandrando, reedificado en 1842 por el señor don Lorenzo Moratinos Sanz, Caballero profeso de Calatrava, primer Vizconde de Villandrando".
Según Pascual Madoz la casa fuerte tenía mucha solided y era de antigüedad notable, no habiéndose variado su antigua forma en la restauración efectuada. Se trataba de un edificio de dos plantas, construido con sillería, con puerta de acceso con arco ojival, sobre la que figura la placa antes mencionada con las armas del vizconde.