El Arco de los Gigantes se abre en un muro de más de dos metros de grosor realizado en mampostería, en el que se sitúan inscripciones latinas relativas tanto a la propia Anticaria como a otras ciudades romanas que existieron en sus inmediaciones (Singilia, Nescania, Osqua, etc.) y cuatro grandes lápidas en las que se desarrolla una dedicatoria al rey Felipe II.
El vano, en forma de medio punto, está compuesto por dovelas alargadas de piedra arenisca cuya clave se resalta situando en ella un relieve con un jarrón de azucenas. Éste, con el castillo y el león de la cornisa superior conforman el escudo de la ciudad, que se ofrece a la vista en la cara externa, abierta a la plaza Alta o de la Feria.
Sobre la cornisa se conservan los restos de una escultura romana de Hércules, que dio otro de los nombres con que se designó a la Puerta, además del de Arco de los Gigantes, alusivo a las estatuas de gran tamaño que en ella hubo.
El conjunto ha tenido con el paso del tiempo varias reestructuraciones, retirándosele y reponiéndose luego alguno de los elementos adosados en el momento de su construcción.