El lugar donde se encuentra fue un asentamiento romano sobre el que, en época de la monarquía asturiana, se erigió una fortaleza con indudable misión estratégica: la defensa de la entrada de la ría y el control del embarcadero hacia la otra orilla del Nalón. Ya en la baja Edad Media se levanta el castillo, que jugó un papel importante en los acontecimientos de la historia política y militar de la región.
La fortaleza de San Martín intervino en los sucesos guerreros más destacados de la historia asturiana medieval. En la actualidad lo que era el castillo se convirtió en una vivienda de una planta y bajo, perfectamente integrada; la muralla fue en 1995 restaurada. Posee además un embarcadero privado, fuentes, cuidados jardines y una envidiable vista a la desembocadura del río Nalón. Fuera del recinto amurallado se encuentra la casa de los guardeses.
El Castillo es de propiedad privada y no se encuentra abierto al público.