El castillo de Pals fue documentado por primera vez en 889 con el nombre de castillo de Mont-Áspre cuando el rey Odón I de Francia le hizo una donación. El segundo documento, data del año 994, por otra donación hecha por los condes de Barcelona, Ramón Borell y Ermessenda, cediendo la torre de Pals y la iglesia de San Pere al Obispo de Gerona. A finales del siglo X fue propiedad de la familia del caballero Gaufred Vidal.
El 1065 el señorío de Pals fue devuelto a los condes de Barcelona. Entre el año 1380 y el 1482 estallan varias revueltas de campesinos llamadas Guerra de los Remensas que culminan con la guerra civil catalana contra Juan II. A raíz de este conflicto el castillo quedó muy dañado y el monarca permitió re-aprovechar sus piedras para reconstruir la iglesia de San Pere y las murallas de la villa. Sólo se conservó la torre circular, conocida actualmente como la Torre de las Horas. En el año 1501 y en tiempos del rey Fernando el Católico se organiza como municipio independiente con atribuciones de villa y poderes para imponer tributos.