Tras la conquista cristiana pasó a denominarse almunia real o Huerta del Rey -nombre que aún conserva-. El primitivo edificio islámico sufrió grandes y sucesivos destrozos por causas diversas, entre las que destacan -debido a su situación el la vega extramuros de la ciudad fortificada- las incursiones de ejércitos almohades y almorávides en los siglos XI y XII, o también de tropas cristianas que allí acamparon en 1212 para hacer frente a los almohades.
Pero según parece el edificio original no fue completamente destruido de modo que el palacio mudéjar que ha llegado hasta nuestros días utiliza en gran medida la estructura de la edificación islámica, de tal forma que la obra fechada en el siglo XIII -a la que siguió probablemente otra posterior en el XIV- consistió básicamente en la reparación de los lienzos más deteriorados y, sobre todo, en labores decorativas entre las que destacan yeserías, zócalos y arquillos de ventanas.
Todo ello se deduce de la observación detallada de la planta del edificio, típicamente islámica, compuesta por salas de recepción conectadas con una espaciosa alberca y todo ello rodeado de jardines. Las fuentes documentales islámicas citan a Ibn Wafid y a Ibn Bassal como diseñadores de los jardines, y nos hablan del célebre "salón de la noria" o maylis al-na´ura, cuyo repetitivo sonido se asemejaría al de una camella que ha perdido a su cría. Esta gran noria se reflejaba en el agua de la alberca, la cual se conserva en nuestros días y que estuvo en uso hasta 1603 según Salazar de Mendoza que cita textualmente "unas casas viejas que tienen un estanque de agua por patio, a quien el vulgo ignorante llama los Palacios de Galiana".
La propiedad del Palacio de Galiana pasó en 1385 al Convento de Jerónimos de la Sisla por donación del rey Juan I. Los monjes vendieron el edificio en 1394 a Beatriz de Silva -esposa de Alvar Pérez de Guzmán-, fecha en la que debió hacerse la segunda reforma mudéjar pues se conservan escudos de los Silva y de los Guzmán en la yeserías.
Pero lo que convierte a este lugar en un emplazamiento legendario y de bellísimas evocaciones es la leyenda que narra los amores de Carlomagno con Galiana, la hija del rey musulmán Galafre. La leyenda tiene su origen en el cantar de gesta francés denominado Mainet o Mainete. En él se narra, al contar la llegada de Mainet con sus franceses a Toledo -Mainet es el nombre que toma el joven Carlos para vivir de incógnito en Toledo, donde va desterrado- que el rey moro los hospedó “en su alcázar menor, que llaman agora los palacios de Galiana, que él había hecho muy ricos a maravilla, en que se toviese viciosa aquella su hija; e este alcázar o el otro mayor eran de manera hechos que la infanta iba encubiertamente de uno al otro cuando quería”.
Se refería pues a los verdaderos palacios regios, hoy Convento de Santa Fe. La leyenda tuvo un arraigo extraordinario en Toledo, y como Ramón Menéndez Pidal explicara en 1932 al analizarla en detalle, ello no es extraño dado el importante contingente de franceses llegado a Toledo con Alfonso VI en la Reconquista pues llegaron a ser el tercer grupo de población más numeroso en Toledo -“Castellanos, Mozárabes atque Francos" según rezan los fueros de la ciudad- ocupando un barrio entero denominado Arrabal de los Francos entre Zocodover y la Catedral, siendo muy probable que ese cantar de gesta fuese escrito en Toledo, como Pidal trató de demostrar.