Muy poco se sabe de la construcción de este castillo. Algunos dicen que fue para reforzar la defensa contra los árabes. Otros, en cambio, especulan con que su origen sea anterior al siglo XIII, incluso que pudiera haber sido una fortaleza romana.
Una u otra versión, el caso es que el castillo de Villarejo ha vivido numerosos episodios históricos. O mejor dicho, «Nacionales», pues en dicha fortaleza se refugió a principios del XIX Juan Martín Díez «El Empecinado», enfrentado a Fernando VII, y la historia de tal personaje la recogió en sus libros Benito Pérez Galdós. También en el de Villarejo tuvo lugar uno de los levantamientos fracasados del general Prim.
Actualmente, el castillo forma parte, junto a la iglesia de San Andrés y a la Casa de la Tercia del Conjunto Histórico-Artístico del municipio.