Die Stadt wurde 1898 - nach der Besetzung der nördlichen Mandschurei durch Russland - als Bahnstation der Transmandschurischen Eisenbahn von Russen gegründet, weswegen das Stadtbild der älteren Stadtteile heute noch von russischer Architektur geprägt ist. Besonders nach der Oktoberrevolution flohen viele Russen nach Harbin und haben zum Aufblühen der Stadt beigetragen. 1932 wurde die Stadt von japanischen Truppen besetzt. Nach der Kapitulation Japans im Zweiten Weltkrieg übernahm die Sowjetunion die Stadt. Zwar übergab sie die Stadt vereinbarungsgemäß der Republik China, aber die Truppen der Roten Armee blieben weiterhin dort stationiert. Unter ihrer stillschweigenden Duldung konnte die Kommunistische Partei Chinas die Stadt bereits 1946 erobern. Die Industrieanlagen dort dienten ihnen als Basis für den Sieg im Bürgerkrieg.
Nach der Gründung der Volksrepublik China wurde Harbin in ihrer Rolle als Schwerindustriestadt noch ausgebaut. Dafür wurden Menschen aus dem Süden Chinas hierher umgesiedelt und die Technische Universität durch Lehrkräfte aus dem Süden verstärkt. Viele dieser Menschen kehrten nach der Lockerung der Wohnbestimmungen wieder in ihre alte Heimat zurück.
Seit der wirtschaftlichen Reform versuchen Harbin und die Provinz Heilongjiang sich als Brückenkopf im Handel mit Russland zu profilieren.
Im November 2005 verseuchte der Chemieunfall von Jilin das Wasser des Songhua Jiang mit Benzol, woraufhin die Trinkwasserversorgung der Stadt für mehrere Tage unterbrochen werden musste.