Archäologen datierten erste Funde einer Siedlung auf 8000 v. Chr. Der Aserbaidschaner Schirwan Schah Ahistan I. machte Baku im 14. Jahrhundert zu seiner Hauptstadt.
Baku besteht aus drei Stadtteilen:
der Altstadt (aserbaidschanisch iceri sheher),
der Gründerzeitstadt,
der sowjetischen Stadt.
Die Altstadt liegt im Zentrum Bakus und ist gleichzeitig eine Festung. 2000 wurde das Viertel innerhalb der Festungsmauern zum Weltkulturerbe der UNESCO erklärt. Die meisten Mauern und Türme, die nach der russischen Eroberung 1806 verstärkt wurden, stehen seit persischer Zeit. Das Viertel mit einem Labyrinth aus engen Straßen und alten Häusern ist pittoresk. Weltberühmt sind der Palast der Khane von Schirwan, die Karawansereien, der Jungfrauenturm aus dem 11. Jahrhundert, die Bäder und die Djuma Moschee. Die Altstadt hat dutzende kleiner Moscheen, oft ohne ein Zeichen, das sie von anderen Gebäuden unterscheidet.
Die Gründerzeitstadt im Süden der Altstadt wurde nach dem enormen Ölboom zum Ende des 19. Jahrhunderts errichtet. 1873 kam Robert Nobel nach Baku. Der ältere Bruder von Ludvig und Alfred Nobel gründete in Baku die Ölgesellschaft Nobel Brothers Petroleum Producing Company. Die Firma wurde in wenigen Jahren das führende Unternehmen auf dem Weltmarkt. Die Ölkönige von Baku ließen sich neugotische und Jugendstilpaläste von westeuropäischen Architekten erbauen.
Von 1898 bis 1902 war der in Aserbaidschan geborene deutsche Ingenieur Nikolaus von der Nonne Oberbürgermeister von Baku.
Der Ölboom endete nach der russischen Revolution 1917. Wütende Arbeiter randalierten in Baku. Nach dem Sieg der Bolschewiki wurden die Ölkönige enteignet, die Nobels mussten Aserbaidschan verlassen. In den Millionärsanwesen sind heute vor allem Kunst-, Geschichts- und Literaturmuseen untergebracht. Manche befinden sich aber auch in Privatbesitz und sind an Expatriates vermietet. Andere haben in den Zeiten des Umsturzes 1992/1993 den Besitzer gewechselt und bieten Verwandten der herrschenden Äliyev-Familie ein angenehmes Leben.
Baku wurde im September 1918 zur Hauptstadt der Aserbaidschanischen Demokratischen Republik. Der Regierungssitz befand sich bis zum 28. April 1920 in Baku. Am 27. April 1920 marschierten die bolschewistischen Truppen in die aserbaidschanische Hauptstadt ein und okkupierten das Land. Die nationale Regierung begab sich ins Exil, zuerst nach Polen und Deutschland, später in die Türkei. Die russisch-sowjetische Okkupation Bakus und Aserbaidschans dauerte über 70 Jahre und endete mit dem Zusammenbruch der Sowjetunion 1991.