Die Stadt wurde ursprünglich als Festung zur Verteidigung der Südgrenzen des Russischen Reiches im Jahr 1654 zwischen den Flüßen Charkow (Charkiw) und Lopan gegründet. Die Festung wurde nach dem Fluß Charkow benannt. Der Herkunft des Stadtnamens ist jedoch umstritten. Einige sind der Meinung, dass er entweder auf Sharukan (Sharuk-Khan), der angeblich am selben Platz gelegene Hauptstadt der Kumanen, die aber bereits nach dem Mongolensturm 1223 bzw. endgültig 1238 verfiel oder auf den legendären Gründer von 1656, den Kosaken Charko zurück geht. Die Einwohner Charkows waren hauptsächlich Soldaten, die die Stadt vor Überfällen der Tataren schützten und sich in friedlichen Zeiten mit Handwerk und Ackerbau befassten. Am Ende des 18. Jahrhunderts verlor die Stadt ihre Bedeutung als Festung und wurde 1765 Verwaltungszentrum eines Gouvernements.
Im Zusammenhang mit dem Bau von Eisenbahnen und dem Beginn der Gewinnung von Kohle und Eisenerz in der Ukraine wurde Charkiw Ende des 19. Jahrhunderts ein wichtiges Industrie- und Handelszentrum. Während des Bürgerkriegs 1917 bis 1920 kam es in der Stadt zu schweren Kämpfen zwischen Oppositionskräften.
Im Januar 1918 tagte in Charkiw der erste ukrainische Sowjetkongress, der die Ukraine zur Sowjetrepublik ausrief und Charkiw zu ihrer ersten Hauptstadt erklärte. 1934 wurde die Hauptstadt nach Kiew verlegt. Im Zweiten Weltkrieg war Charkiw heftig umkämpft. Im Oktober 1941 wurde die viertgrößte Stadt der Sowjetunion von deutschen Truppen erobert, im Mai 1942 scheiterte ein sowjetischer Rückeroberungsversuch (Schlacht bei Charkow). Im Februar 1943 befreiten Sowjets die Stadt zwar kurzzeitig, doch schon im März 1943 fiel sie erneut. Dabei wurden große Teile der Stadt durch die deutsche Wehrmacht zerstört. Erst nach der Schlacht bei Kursk wurde die Stadt am 23. August 1943 endgültig befreit. Während des Krieges war diese Stadt ein sehr wichtiger strategischer Objekt und zwar nicht nur wegen wichtigen Verkehrsknoten, sondern auch wegen ihrer entwickelten Kriegsindustrie. Da waren z.B. die berümtesten Panzer T-34 erfunden, entwickelt und produziert.