La primera muralla se construyó durante el emirato de Muhammad I, entre el año 850 y el 866, coincidiendo con el momento fundacional de la ciudad como una más de las fortalezas que integraban el sistema defensivo de la Marca Media, pues contaba con una ventajosa situación geográfica. En el siglo X el califa de Córdoba Abd al Rahmman III -Abderramán III- mandó reforzar la muralla debido a las incursiones militares cristianas, como la protagonizada por Ramiro II en el año 932. Esta muralla envolvía un perímetro urbano de 4 hectáreas, constituido por el alcázar y la almudaina, y los accesos se realizaban a través de tres puertas (de la Vega, de Santa María y de la Sagra). Los lienzos de la muralla eran de cantería de sílex y piedra caliza, y se fueron ordenando en torno a torres de planta cuadrada dotadas de escarpes, portillos y posiblemente de almenas.
Tras la conquista de Toledo en el año 1085 por Alfonso VI, rey de Castilla y León, ciudades y fortalezas como Guadalajara, Rivas, Uceda y Madrid capitularon sin oponer resistencia. Al no estar asegurado el control de las fronteras con los árabes en la submeseta sur, Madrid siguió desempeñando su papel de fortaleza, razón por la que a lo largo del siglo XII se construyó una nueva muralla aprovechando las defensas existentes de la época árabe. Este nuevo recinto amurallado, conocido como muralla cristiana, encerraba una superficie de algo más de 33 hectáreas y contaba con cuatro puertas de acceso, llamadas de Guadalajara, de Balnadú, de Moros, y Cerrada. A diferencia de la muralla árabe, la nueva muralla encerraba en su perímetro los barrios que habían constituido la antigua medina. Su construcción se realizó con lienzos de cantería de pedernal articulados entorno a torres semicirculares.
Quedan muy pocos restos de estas murallas, engullidos por el caserío durante los siglos XIV y XV, y demolidas en gran medida durante el siglo XVI. De la muralla árabe quedan algunos vestigios en el Parque de Mohammed I, y algunos lienzos de la cristiana en la calle de los Mancebos, del Almendro, Cava Baja, Mesón de Paños, Escalinata y poco más.