A ojos del visitante, lo más sobresaliente son las forjas de las balconeras y las ventanas de la parte frontal de la mansión. Su patio interior, rectangular, mide unos ocho por catorce metros, y de él emergen seis columnas de mármol blanco de la región, redondeadas sin torno (según se aprecia por algunas irregularidades en su línea). Sostienen una espaciosa galería de madera protegida por una típica y artística balaustrada de estilo castellano.
Los Segura fueron una de las familias nobles desembarcadas en Orce, con las últimas mareas de la reconquista. Eran muy ricos, gracias al comercio de la ganadería lanar y a otros negocios que los condujeron, alguna que otra vez, al remolino de la Inquisición.
Otro nombre por el que se conoce al Palacio, es la Casa de los Duendes. Puede tener su origen en los aquelarres y otras "reuniones" que tenían lugar en sus estancias y habitaciones.