Consta de un alto recinto rectangular, con una torre del homenaje adosada a uno de los muros, torres en las dos esquinas del lienzo opuesto, que da a la pendiente y actualmente arruinadas y cubos en el centro de los muros laterales. La torre del homenaje muestra los mechinales de las vigas para tres pisos y los restos de una bóveda para el último. En esta torre, con acceso a la altura del suelo, algunas almenas se encuentran en buen estado y puede apreciarse un hueco entre dos almenas que daría acceso a un cadalso exterior. En un lateral del muro al que está adosada la torre del homenaje se encuentra una puerta de acceso. Frente a la torre, un foso artificial separa el castillo del resto del cerro, desde el que es fácil ver los castillos de Montuenga de Soria y Monteagudo de las Vicarías.
La fábrica es de mampostería y sillarejo, con sillares en las esquinas de las torres y muros. Cuenta con un profundo aljibe en el centro (ten cuidado si lo visitas, es peligroso). El estado de conservación es malo, con la base de los muros derruida, lo que no augura nada bueno en un futuro no muy lejano. A los pies del cerro, las ruinas de la Ermita de Nuestra Señora de la Torre, donde la tradición dice que la pila bautismal, situada en el centro, hacía las veces de mojón y límite entre Castilla y Aragón, situándose los fieles de cada reino a un lado de ésta. Los bautizados en ella por tanto se beneficiarían de los fueros de ambos reinos (pila bautismal que fue trasladada y que ahora -1999- se encuentra en la iglesia de Pozuel de Ariza).
Cuenta con un artesonado mudéjar poligonal muy parecido al de la parroquial de Matute de Almazán, tan común en la provincia (Perdices, Tejerizas, Moñux, Soliedra, Escobosa, Frechilla de Almazán,...).
La historia del castillo, que en un principio debió ser sólo una torre de vigilancia del valle del Jalón y la frontera castellano-aragonesa, nace con D. Martín González (que le da nombre), en época del Cid, y está estrechamente ligada a las guerras de La Raya entre Aragón y Castilla durante los siglos anteriores a los Reyes Católicos. Se tiene noticia de la desposesión del propietario del castillo por el rey Pedro IV de Aragón, en el siglo XIV, por favorecer los intereses castellanos, donándolo a Gonzalo Fuerte.
Durante los siglos XV y XVI sus dueños son familias de origen aragonés: Luna, Cobos, Sarmientos,... En 1452 el alcaide del castillo es Juan de Torres, regidor de Soria.