En la parte superior de la puerta entrada se puede ver el blasón de los Condes de Chinchón.El castillo sufre el asedio comunero y otras varias ocupaciones militares que lo dejan en lamentables condiciones y aunque fué reparado e incluso se levantó un nuevo edificio sobre el anterior, los Condes de Chinchón dejaron de habitar en él a partir del siglo XVIII.
Actualmente es de propiedad privada, de los Condes de Chinchón y no es visitable en su interior. Parece ser que el actual castillo es el segundo edificio que ocupa este emplazamiento. En los siglos XIX y XX fue utilizado como casa de labranza y fábrica de licores (anises de Chinchón).
La localidad de Chinchón se sitúa en uno de los puntos más altos de la meseta entre los ríos Tajuña y Tajo. El pueblo se distribuye en la cabeza de un valle, rodeado por dos cuerdas que descienden desde la parte más elevada que está al Este.
Desde el emplazamiento del castillo disfrutamos de una estupenda panorámica del valle y del pueblo, e incluso en la lejanía llegamos a ver las torres de Madrid.