Es un edificio con dos torreones esquinados y restos de un castillo medieval, que es conocido también como cárcel visigoda.
Su planta es de forma rectangular con cuatro gruesos muros en ángulo recto, enteramente ciegos excepto el hueco de entrada, reforzados en sus esquinas con torreones macizos, los cuales están prácticamente desmoronados.
Obra de mampostería, cuyo interior tiene un amplio patio con piso de baldosa; la puerta pequeña y adintelada, cuyo dintel está constituido por una estela, al parecer funeraria, realizada en granito.
Incrustados en sus muros hay tres lapidas sepulcrales romanas.
En las paredes aún puede verse los grilletes de los presos. Tiene reconstrucciones de época árabe y cristiana.
Ajofrín es uno de los pueblos más antiguos del Reino de Toledo.
Su historia está vinculada a enigmas y misterios relacionados con ese objeto sagrado, la Mesa de Salomón.
Su propio nombre derivaría del vocablo árabe “aljofarín”, “aljófar”: Tesoro, perla.