Fueron construidos en el siglo XI, en 1002, aprovechando los restos de una casa o baño romano con pórtico. Posiblemente reformados en el siglo XII, debido a la presencia de restos de decoración almohade que se conservan en algunas de sus salas.
Tras la conquista de la ciudad en 1246 por Fernando III, El Santo, se siguieron utilizando durante los primeros años de dominio cristiano. Entre los siglos XIV y XV desaparece su función como baño al establecer los cristianos en sus salas unas tenerías, cuyos restos permanecen aún en las Salas Templada y Caliente. Y acabaron llenos de escombros para servir de cimiento al actual Palacio.
A finales del siglo XVI Don Fernando de Torres y Portugal, I Conde de Villardompardo y VII Virrey del Perú, edificó su Palacio sobre los Baños, quedando estos enterrados y ocultos entre los cimientos y sótanos durante los siglos XVIII y XIX, lo que resultó esencial para su mantenimiento.
La última reforma realizada en los baños por la Diputación de Jaén incluye todos los medios de accesibilidad.
A principios del siglo XX, el Palacio pasa a formar parte del patrimonio inmobiliario de la Diputación Provincial de Jaén, que, entre 1901 y 1903, libera el espacio para construir una Capilla para el Hospicio de Mujeres. En 1913, se descubrieron parte de los Baños durante la realización del Catálogo Monumental de Jaén. Cuatro años más tarde los arqueólogos proponen que el edificio se declarase Monumento Nacional, hecho que se produjo en 1931, adjudicándose con el número de Registro General 528.
En 1936, comienzan las obras de restauración bajo la dirección de los arquitectos Leopoldo Torres Balbás y Luis Berges Martínez. Estas obras se vieron interrumpidas por el comienzo de la Guerra Civil. En 1970, la Dirección General de Bellas Artes retoma la restauración del edificio encargándosela al arquitecto don Luis Berges Roldán, hijo del anterior, completándose en 1984.
La Asociación Europa Nostra otorgó la Medalla de Honor de ese año a la restauración de los Baños Árabes.
En el año 2008, sirven como escenario en la película La conjura de El Escorial del director Antonio del Real