Se situaba este castillo en una de las esquinas, - la inferior y más norteña- de la muralla que circundaba a la ciudad medieval. Constituido en dos cuerpos adjuntos, se formaba de muy gruesos muros, fortificados a trechos por altos torreones que daban, de un lado, sobre el barranco del Alamín, y de otro sobre la propia ciudad. En su interior, múltiples estancias servían de residencia a los jefes militares árabes primero, y luego a los alcaides cristianos. En 1338 pasó una larga temporada viviendo en él don Alfonso XI, recuperándose de una enfermedad y fundando la "Orden de la Banda" para premiar a los caballeros arriacenses que amablemente le sirvieron. Luego en 1390 vieron sus salones reunirse a lo más granado del reino para celebrar en ellos las sesiones de las Cortes convocadas por Juan 1. Los Mendoza algunas veces hubieron de refugiarse en él ante los asaltos de las fuerzas reales.
De primitiva construcción árabe, aunque muy reformado por los cristianos, consta de dos recintos y ocupa una superficie de 17.000 M2 . El recinto norte es el más grande, y mide 107 x 86,2 mts. El más meridional es de 68 x 62 mts. Con una puerta al frente que miraba hacia la ciudad. En sus muros se aprecian todavía tres diferentes calidades y épocas: hay una primera zona, la que da sobre el barranco, de época cristiana, que se forma por mampostería, piedras irregulares, sin simetría de hiladas y con argamasa de cal. Una segunda de tapia¡ o "tabiya"árabe, que forma las dos grandes torres que dan sobre la Travesía de Madrid. Son dos torres huecas, de 10 metros en su frente y 3,5 de profundidad. Sobre el tapial grosero se aplicó una primera capa de argamasa oscura, y sobre ella otra más fina y blanca sobre la que se pintaron con líneas rojas simulando sillares. En una tercera zona, que como la anterior tenía una ligera zarpa, se ve tapia¡ protegido por sólida capa de yeso de color amarillento.
En realidad, solamente esas dos grandes torres de "tabiya"árabe son los restos verdaderamente islámicos de este castillo de Guadalajara. El resto, muy alterado y renovado en épocas sucesivas, es cristiano. Fue casi totalmente rehecho, como la muralla de la ciudad, en los siglos XIII-XIV, y más tarde, ya en el siglo pasado, utilizado como Cuartel de San Carlos, añadido del Regimiento de Aerostación. Todo ello actualmente en proceso de ruina, de abandono y de hundimiento.