Una de las construcciones más interesantes del conjunto arquitectónico de Isla es la torre-palacio medieval de los condes de Isla, construido entre los siglos XIV y XV, que aun conserva algunos elementos, como sus torres almenadas que nos recuerdan que fue una importante fortaleza. Este edificio, obra de Juan Fernández de Isla, declarado Bien de Interés Cultural en el año 1991, consta de un cuerpo principal de dos plantas con una hermosa fachada decorada.