En su interior se guarda una de las más importantes colecciones españolas de arte, en la que destacan los tapices flamencos. Posee cuadros de Tiziano, Rubens y Rembrandt. entre otros; pero es especialmente rico en pintura española; destacan magnificas obras de El Greco, Zurbarán, Velázquez y Goya, como el retrato de la duquesa realizado en 1795.
Tras el palacio se levanta el Cuartel del Conde Duque, realizado por Pedro de Ribera en 1720 en el lugar en que estuvo el palacio de Olivares, ministro de Felipe IV.
Por la magnifica puerta barroca se accede en la actualidad a un centro cultural, que alberga la Hemeroteca Municipal.