In den Jahren 852 bis 886 wurde eine maurische Burg (alcázar) an der Stelle des heutigen Madrider Königspalastes errichtet. Die umgebende Anlage wurde magerit genannt, und ab 939 Madschrít. 1083 wurde Madrid kastilisch. Die Stadt wurde 1109 durch den Almoraviden Jusuf erfolglos belagert. Ein kleiner Teil der aus der arabischen Herrschaftszeit über Spanien stammenden Stadtmauern ist neben der Kathedrale immer noch vorhanden. 1309 fand hier die erste Zusammenkunft des Cortes de Castilla (Kastillischen Städteparlament) unter Fernando IV. statt (andere Angabe: 1239).
Mit der Verlegung der Corte (Parlament) im Jahr 1561 und der Residenz aus dem nahe gelegenen und wesentlich älteren Toledo durch Felipe II. im Jahr 1588 begann der Aufstieg der Stadt. Sie wurde faktisch zur offiziellen Hauptstadt Spaniens, was sie abgesehen von einer kleinen Unterbrechung von 1601 bis 1606 bis zum heutigen Tag ist. Der Teil von Madrid, der unter den Spanischen Habsburgern errichtet wurde, nennt sich bis heute „El Madrid de los Austrias“ (Das Madrid der Österreicher). In dieser Zeit wurden die Puerta del Sol, das Descalzas Reales, Palacio de Uceda, die Plaza de la Villa, das Schaustück Habsburgischer Architektur die Plaza Mayor sowie die Kathedrale von San Isidro erbaut.
Zwischen 1701 und 1713 fand der Spanische Erbfolgekrieg statt, 1706 folgte die englische und portugiesische Besetzung. Von 1808 bis 1813 war Madrid von den Franzosen besetzt, wobei Napoleons Bruder Joseph König wurde. Die Besatzer ließen Klöster und ganze Stadtviertel niederreißen, um neuen Platz zu schaffen. Mit dem Aufstand vom 2. Mai 1808 wurden weitere Erhebungen im gesamten Land hervorgerufen, in Madrid ist der 2. Mai daher heute arbeitsfreier Stadtfeiertag.
Von 1833 bis 1876 fanden die Karlistenkriege statt. Dabei wütete auch eine Choleraepedemie in Madrid. 1873 wurde die erste Republik durch den liberalen Politiker und Schriftsteller Emilio Castelar ausgerufen, und 1923 folgte die Militärdiktatur unter General Miguel Primo de Rivera. Am 14. April 1931 wurde in Madrid die Zweite Republik ausgerufen. Im Spanischen Bürgerkrieg von 1936 bis 1939 war Madrid bis zuletzt, und zwar bis zum 28. März, republikanisch und erlitt durch deutsche und italienische Bombardements schwere Zerstörungen. Nachdem sich die Nationalisten um den General Francisco Franco durchgesetzt hatten, prägte dessen Diktatur bis 1975 die Stadt. 1965 bis 1973 fanden zahlreiche Streiks und Studentenproteste statt.
Nach dem Tod Francos im Jahre 1975 gab es in Madrid eine Kulturbewegung, die Movida madrileña. Juan Carlos I. wurde König und leitete die Demokratisierung (Transición) ein, die jedoch am 23. Februar 1981 (23-F) durch einen Putschversuch einiger Offiziere der Guardia Civil und des Militär noch einmal gefährdet wurde. Einige davon hatten auch schon bei der Operación Galaxia 1978 mitgemacht. 1992 war Madrid „Kulturhauptstadt Europas“. 2004 wurden bei den Terroranschlägen auf vier voll besetzte Nahverkehrszüge 191 Menschen getötet.
Im Jahr 2005 scheiterte Madrid knapp bei der Bewerbung um die Olympischen Sommerspiele 2012.