Fue construido sobre el primitivo Palacio de los Ponces del siglo XIII, cuyos restos se pueden ver aún en su interior.
Los Duques del Infantado lo reconstruyeron lo que se muestra en la actualidad. Los incendios de los ingleses en 1808 y otro en 1887.
Es de propiedad particular pero con acceso libre.
Las Visitas deben concertarse en el Ayuntamiento o en la Oficina de Turismo.
(Vivaleón)