Fue proyectado por el arquitecto Enrique Gil de Hontañón, y fue declarado Monumento Histórico en 1963. Su planta es de forma trapezoidal, con cuatro torreones en sus esquinas y numerosos balcones con rejerías de hierro forjado. Está construido en piedra, y en su fachada puede verse el escudo de armas de Juan Quiñones y Guzmán, obispo de Calahorra para quien fue construido. En la antesala de entrada al palacio hay una escultura de este obispo.
Lo más bonito es su patio interior de dos pisos, rodeado de una galería formada por arcadas sobre columnas jónicas. Bajo ellas se encuentran dos grandes escalinatas que dan acceso al piso superior (hoy oficinas); a los pies de una de ellas llama la atención la figura de un hidalgo con armadura montado a caballo. Son de destacar también las gárgolas, cabezas de animales mitológicos, todas diferentes, y el pozo que se encuentra en el centro del patio.
Entrando por la fachada lateral de la C/ Ruiz de Salazar hallaremos una oficina de información turística.