En el Siglo XIV se levantó la torre circular que sustituía a la romana, (al estilo de la que se conserva en Olloniego) pero por grietas en su estructura fue derribada en la posguerra y reemplazada por la que vemos en la actualidad. En torno al torreón medieval se fueron construyendo edificaciones menores, convirtiendo el lugar en una pequeña fortaleza. Un documento vinculado a la familia de Camposagrado del siglo XV cita la "casa fuerte de Mieres".
La primera alusión a "Palacio" data del siglo XVII en el que el recinto se convirtió en vivienda señorial de la Casa de Quirós y su mayorazgo el Marqués de Camposagrado.
La casona se construyó aprovechando la torre que se utilizó como esquina, en el interior las habitaciones se dispusieron en dos plantas, alrededor de un patio con columnas de tipo toscano, que se cubrió en 1926, año en el que el Ayto. compró la propiedad por 375.000 ptas.
La fachada de 31 m. se articula en torno a la puerta de entrada que es lo más destacable, con portón de medio punto, sobre él campea el lema de la familia "Después de Díos, la casa de Quirós". Sobre el balcón de forja hay un escudo de España que vino a sustituir al del linaje de Camposagrado. De estilo barroco asturiano.
En el siglo XVIII, ya sólo se usaba como residencia de verano. Aquí se alojaron Gaspar Melchor de Jovellanos y la reina Isabell II.
En la actualidad es la sede del Instituto de Educación Secundaria «Bernaldo de Quirós», y aloja también un museo donde se exhibe la colección de pintura y escultura reunida a finales del siglo XX por Carmen Castañón, directora que fue del centro.
Está declarado Bien de Interés Cultural, con categoría de Monumento, por Decreto 63/2004, del 22 de julio, del Consejo de Gobierno autonómico, publicado en el Boletín Oficial del Principado de Asturias del 6 de agosto de 2004.