Probablemente éste de Gardón fue hecho bajo Femando II, pues consiste en una cerca ovalada de cal y canto, igual que la de Ciudad Rodrigo, aunque pequeña, y sin conservar señales de puertas, ni otros pormenores notables.
A su extremo de Oriente, adhiriósele en el siglo XVI otro castillo-palacio, de sillería, con cubos a los ángulos, que yace despedazado todo.
Desde allí se domina también el campo de Argañán y es hermosa vista .
Sobre este castillo aparece la siguiente información:
Este castillo se encuentra en medio de una dehesa al noroeste de Ciudad Rodrigo, en la finca de El Gardón, guardado si cabe con gran celo por sus actuales propietarios, sobre una loma desde la que se aprecia de cerca la frontera de Portugal, no lejos del Fuerte de la Concepción. Probablemente este castillo de Gardón fue hecho en el siglo XII bajo el reinado de Fernando II, pues consiste en una cerca ovalada de cal y canto, parecida a la de Ciudad Rodrigo, aunque pequeña y sin que se vean señales de puertas ni otros pormenores notables. Los muros que quedan de pie de la estructura del castillo han pasado a formar parte de la alquería, siendo utilizados como dependencias de la misma. En el extremo del este, se le adosó en el siglo XVI otro castillo-palacio, de sillería, con cubos en los ángulos, que está todo derruido.
De su historia tampoco se sabe mucho, aunque tuvo que ser relevante en función de los enterramientos que en sus alrededores se han realizado, utilizando la abundante piedra berroqueña que existe en estos lugares. Se sabe que en el siglo XVI el castillo pertenecía al cabildo de la catedral de Ciudad Rodrigo y que el canónigo Juan de Silva Guzmán era su Alcaide en 1582. El castillo y su población sufrieron las consecuencias de la guerra con Portugal en el siglo XVII, provocando su despoblamiento y posterior ruina. La última acción (posiblemente) que tuvo lugar en el Gardón y quizás el origen de su destrucción, se ve reflejada en el texto de un escritor portugués (Vilhena.... ALMEIDA, tomo 1º) que dice así: con este cuerpo de ejército entró en Castela el día 17 de Setiembre. Ordenado de esta forma el ejército, mandó el general que marchase por diversas partes, poco distantes unas de otras y que se juntasen en el Valle de Lamula en la misma mañana en que partieran de Almeida. Cuando el general salió de esta plaza, ordenó que se le juntasen las tropas de Alfajares, de Souto y de Sabugal y que fuesen a quemar y saquear Perozim, lo que hicieron. Enseguida marcharon sobre Guardío (Gardón), de cuyo castillo salen en frecuentemente los españoles, causando grandes estragos y daños, donde llegaron el mismo día 17 de setiembre de 1642. Después de sangrienta lucha, el castillo fue tomado por los portugueses, lo que representaba una gran victoria en esa ocasión. Salieron del castillo don Diego de Represa, caballero de la Orden de San Juan, gobernador de aquella plaza, con seis capitanes de infantería y todos sus oficiales, así como los capitanes de caballería con sus hombres, un total de 530, habiendo sido llevados todos para Almeida, de donde fueron enviados a Lisboa. Dentro del castillo había gran cantidad de pertrechos de guerra y vituallas de los cuales se aprovecharon los portugueses.