Harare wurde 1890 als Fort Salisbury von Cecil Rhodes gegründet. An dieser Stelle befindet sich heute der African Union Square. Rhodes nannte die Stadt nach dem britischen Premierminister Lord Salisbury. 1923 bekam das Fort mit dem Sitz der Kolonialregierung auch die Stadtrechte. Zwischen 1953 und 1963 war Salisbury Hauptstadt der Föderation von Rhodesien und Njassaland.
Nach der Unabhängigkeit Simbabwes 1980 wurde der Name nach dem Volk, welches hier ursprünglich lebte, in Harare geändert (18. April 1982).
Im Mai 2005 startete die Regierung Simbabwes eine umstrittene Aufräum- und Gebäudeabbruchkampagne, die zu heftigen Reaktionen in der internationalen Gemeinschaft führte, weil sie ohne Voranmeldung oder das Angebot alternativer Wohnungen für die annähernd 700.000 Betroffenen stattfand. Unter dem Vorwand, der Kriminalität und den Krankheitsrisiken zu begegnen, richtet sich die Kampagne vor allem gegen die informellen Märkte und Vorstädte. Daraufhin hat die UNO angeboten, internationale humanitäre Hilfe für die Opfer zu organisieren, allerdings wurde dieses Angebot durch die Behörden des Landes mit der Begründung abgelehnt, Hilfe von außen sei nicht nötig.