Die auf die Vernichtung der Juden zielende Politik Hitlers fiel beim in Wien schon viele Jahrhunderte alten und seit Beginn des 20. Jahrhunderts zunehmenden und politisch instrumentalisierten Antisemitismus auf fruchtbaren Boden. Unmittelbar nach dem deutschen Einmarsch begannen „arische“ Wiener spontan, jüdische zu bedrohen, zu quälen, zu berauben, aus ihren Wohnungen zu werfen. Bei den wohlorganisierten Novemberpogromen, beginnend am 9. November 1938, wurden 92 Synagogen Wiens zerstört. Nur eine Einzige blieb verschont, der Stadttempel im 1. Bezirk. Von den mehr als 200.000 jüdischen Wienern wurden etwa 60.000 ermordet, nur 5.243 überlebten den Krieg in Wien.
Der Nationalsozialismus wandte sich einerseits gegen „entartete Kunst“ und pflegte andererseits mit viel Propaganda die „deutsche Kunst“ Wiens. So wurde z. B. 1941 der 150. Todestag Mozarts, der 1791 in Wien gestorben war, groß gefeiert. Der Begriff „Österreich“ verschwand in historischer Fachliteratur, nur die 1819 in Wien gegründete „Erste österreichische Spar-Casse“ (Erste Bank) behielt auch in diesen Jahren ihren traditionellen Namen. Die Wiener Stadtverwaltung wurde nach nazideutschem Muster neu geordnet, durch Eingemeindungen entstand Groß-Wien mit dreifacher Fläche. Wien sei eine „Perle“, der er „die richtige Fassung geben“ werde, hatte Hitler erklärt.
Ab dem 17. März 1944 erfolgten, ein halbes Jahr nach dem ersten Bombardement auf die „Donau- und Alpengaue” (= Österreich), die ersten Luftangriffe auf Wien. Dabei wurde rund ein Fünftel der Stadt zerstört. Am 2. April 1945 wurde Wien zum Verteidigungsbereich erklärt („Frauen und Kindern wird empfohlen, die Stadt zu verlassen“). Das bedeutete, dass der Kampf bis zum bitteren Ende geführt werden sollte. Die sowjetische Armee befand sich nur noch wenige Kilometer vom Stadtgebiet entfernt. Die Schlacht um Wien dauerte acht Tage und kostete 40.000 Menschen das Leben. Nicht durch Kampfhandlungen, aber im Gefolge einer Plünderung geriet auch der Stephansdom in Brand, der zuvor den Luftkrieg ohne Bombentreffer überstanden hatte.