Convertido el palacio de Alfonso XI y Pedro I en Convento de clarisas, el rey Enrique III decidió construir otro palacio en las proximidades del anterior, asomado hacia el río Duero y con espléndidas vistas. Su perímetro era rectangular, y estaba construido con mampostería y tapial, y con dos pisos de altura. Tenía tres puertas, la principal, al sur mirando al río, otra al oeste, en la calle San Antolín, y la tercera al norte frente al palacio de los Alderete. Tenía también, un corredor exterior que discurría por la fachada sur y más de la mitad de la fachada del oeste, continuando como pasadizo elevado sobre la calle para comunicar con la iglesia de San Antolín.
En el centro de la fachada sur, había una torre de planta cuadrada con tres cuerpos de altura y corredor en el último, que se utilizaba para la vigilancia. Las estancias estaban cubiertas por artesonados de madera y sus paredes con ricos tapices. Se disponían en torno a dos patios y una huerta al este.
Debido a la mala calidad de los materiales de construcción, precisó de continuas reparaciones.
Tras la muerte de la reina doña Juana, el edificio fue abandonado, y a pesar de realizar reparaciones para evitar su estado ruinoso, fue derribado en el año 1773 durante el reinado de Carlos III.