De la historia de esta localidad ribereña del Perejiles sólo se sabe que es de origen musulmán y que era conocida antiguamente como Rosca. Fue conquistada por Alfonso I y en 1182 su iglesia dependía del arcediano de Calatayud, según se lee en una bula del papa Lucio II. Fue siempre lugar de la Comunidad de Calatayud, perteneciendo a la sesma del Río Miedes. El castillo debió ser construido por mudéjares durante las guerras con Castilla, en el siglo XIV, para la defensa del lugar.
Del antiguo castillo sólo queda una torre de planta rectangular, construida con pequeñas piedras irregulares con argamasa que proporcionan a sus paredes un gran espesor en la base, aunque su anchura decrece según gana altura. Es de grandes proporciones, pues sus lados miden 10 por 5 metros y su alzado llega a los 12.
Al interior se articulaba en tres plantas: la inferior conserva su cubierta de cañón apuntado aunque deteriorada. Las superiores eran planas, cubiertas mediante forjados apoyados y empotrados en las paredes, a juzgar por los mechinales, pero han desaparecido. La puerta de ingreso está muy deformada y sobre ella se conserva una ventana que iluminaría la planta superior. En la cara opuesta hay una estrecha ventana en la primera planta y saeteras en la última. Al lado de la puerta de ingreso se observa una construcción adosada a la torre, que quizás sea posterior a la construcción de ésta.
Probablemente esta torre estaría rodeada por un recinto defensivo pues alrededor se observan algunos lienzos que formarían parte del mismo.