El Contador mayor del Rey Juan II, D. Alonso Pérez de Vivero obtuvo gracias al rey en el año 1437 la titularidad de la tierra de San Martín de Cornejo, se segregó posteriormente de la Tierra de Avila y fue llamada a partir de ese momento de Castronuevo (un pequeño señorío de la Baja Edad Media, Siglo XIV) en estos tiempos debían ser unas casas a modo de pequeño poblado, del cual hoy quedan los restos de la Iglesia . Lo heredó posteriormente su hijo Gil de Vivero que tuvo bastantes enfrentamientos con los vecinos de Fontiveros por lo que parece que se hizo necesaria la construcción de un castillo. Se tiene constancia documentada del castillo desde 1476 (1a fase constructiva: estructura interior del castillo con torres y garitas), hasta 1481 tras la muerte de Gil de Vivero y su esposa, debía ya estar terminada la construcción del castillo , aunque su hijo Rodrigo argumenta la realización de obras por valor de un millón de maravedíes, y además se inicia un pleito sucesorio entre los herederos. En el año 1489 Rodrigo de Vivero vende el castillo por 6.200.000 maravedíes al Duque de Alba, propietarios hasta hoy de la fortificación medieval. A partir de este momento se inicia la 2a fase de construcción, a lo largo del Siglo XVI: el interior del castillo.
Su planta es un rectángulo perfecto, con dos recintos concéntricos: el exterior de aspecto militar y austero, y cuyo aparejo superior es todo de ladrillo, posee numerosas troneras de buzón para tiro de artillería, cuatro sótanos o corredores abovedados también de ladrillo que son la estructura base para la barbacana (debieron cumplir funciones de caballerizas, se pueden fechar a finales del Siglo XV aunque hay historiadores que defienden que puedan ser obra del S.XIX) y el foso. Manteniendo la altura de los muros de esta barbacana o antemuralla - hecha de cal y canto - para los asaltantes, desde lejos se reducía el blanco para la artillería. Se ve claramente que en este perímetro exterior hubo en otro tiempo cuatro torres semi-circulares en sus esquinas, que posiblemente se destruyeron cuando se recreció la barbacana exterior con troneras de buzón. El recinto interior presenta tres torres en sus esquinas, de planta circular y almenadas, tres escaraguitas a modo de garitas y otras dos torres rectangulares aparentemente inacabadas o desmochadas, con muros formados por encofrados de cal y canto entre machones de ladrillo. Una de ellas se encuentra adosada al lienzo norte y presenta el mismo aparejo; la otra torre rectangular está levantada casi en su totalidad por ladrillos y en su esquina exterior se conserva un gran ventanal cegado con sillares de granito. Estas dos torres rectangulares quizá estuvieran planteadas como Torres del Homenaje, pero no llegaron a concluirse. Dentro de este recinto interior se alojan restos de un palacio renacentista (la parte más suntuosa) con salas, escalera, columnas, balaustradas, patio porticado con una galería formada por dos pisos con arcos escarzanos de distinta altura que fue reforzada hacia 1562 con fuertes pilares rematados con bolas herrerianas de piedra de granito. La decoración junto a la organización de vanos y puertas responden al estilo del último gótico de la ciudad de ávila. Los ricos artesonados fueron desmontados y trasladados a Madrid. La fábrica de los muros de este palacio son de sillería.
La arquitectura mudéjar de estas fortificaciones se caracteriza por el empleo de un aparejo formado por cajones de mampostería encintada con verdugadas de ladrillo, las esquinas reforzadas con ladrillo, sistemas de defensa copiados del mudo islámico como las barbacanas o torres albarranas, y la decoración de las puertas: frisos de esquinillas, alfices y sardineles. Junto a este castillo de Castronuevo de estética múdejar otros similares que se conservan son el de Narros de Saldueña y el de Arévalo. Hay que recordar que los nobles y caballeros eligen el estilo mudéjar para la construcción de palacios, castillos,... como una arte representativo del S.XV en la Corte de Castilla, y más en esta zona de La Moraña o norte de la provincia que fue Corte de los Reyes.
En los años 50 - 60 se utilizaba como vivienda de los trabajadores de la Dehesa.
(Asociación de Turismo La Moraña)