Mit dem Sieg Rudolf I.1278 über Ottokar II. von Böhmen begann die Herrschaft der Habsburger in Österreich. In Wien brauchten diese allerdings relativ lange, um sich zu etablieren, die Parteigänger Ottokars blieben noch lange stark. Gegen Albrecht I. gab es mehrere Aufstandsversuche. Zur Zeit der Luxemburger-Kaiser wurde wiederum Prag zur Residenzstadt, in deren Schatten Wien stand. Die frühen Habsburger versuchten, die Stadt auszubauen, um Schritt zu halten. Herzog Albrecht II. etwa ließ den gotischen Chor von St. Stephan bauen.
Große Verdienste erwarb sich Rudolf IV., der durch eine kluge Wirtschaftspolitik den Wohlstand hob. Zwei Entscheidungen haben ihm den Beinamen der Stifter eingetragen: die Gründung der Universität Wien 1365 und der Bau des gotischen Langhauses von St. Stephan. Letzteres ist mit der Gründung eines Metropolitan-Kapitels verbunden, das ein symbolischer Ersatz für den noch immer nicht vorhandenen Bischof sein sollte. Die folgende Zeit der Erbstreitigkeiten unter den Habsburgern brachte nicht nur viele Wirren, sondern auch einen wirtschaftlichen Niedergang. Damit verbunden sind auch soziale Unruhen sowie Auseinandersetzungen zwischen der „Patrizier-“ und der „Handwerkerpartei“. 1408 kam es sogar zur Hinrichtung durch Vierteilung des Bürgermeisters Konrad Vorlauf.
1438 wurde Wien nach der Wahl Herzog Albrechts V. zum deutschen König (Albrecht II.) wieder Reichshauptstadt; mit dem Namen Albrecht ist allerdings auch die erste große Vertreibung und Ermordung der Wiener Juden von 1421/22 verbunden. 1469 wurde die aufstrebende Stadt nunmehr zum Bischofssitz und damit der St. Stephan zur Kathedrale. In der Ära des schwachen Friedrich III. war Wien immer auf der Seite seiner Gegner, da er den Landfrieden gegen umherziehende Söldnerbanden nicht gewährleisten konnte. 1556 schließlich wurde Wien endgültig Sitz des Kaisers, nachdem Ungarn und Böhmen zum Herrschaftsbereich der Habsburger hinzugekommen waren. Dies ist auch die Zeit der Rekatholisierung der Stadt, die ziemlich rasch protestantisch geworden war. 1551 wurden die Jesuiten geholt, die rasch großen Einfluss am Hof erlangten. Der führende Kopf der Gegenreformation war Melchior Khlesl, der Bischof von Wien um 1600.