Das heutige Gaza wurde über der antiken Stadt erbaut und wird mitunter als eine der ältesten Städte der Erde bezeichnet. In der Antike war Gaza bedeutend als Hafenstadt zwischen den Kontinenten (Afrika, Asien und Europa). Das alte Stadtgebiet erstreckte sich quadratisch über 1 km². Gesichert wurde es durch die Lage auf einem Hügel sowie durch eine Stadtwallanlage mit insgesamt vier Toren in den vier Himmelsrichtungen.
Von Thutmosis III. bis Ramses IV. war Gaza Verwaltungssitz der Ägypter in Südpalästina, bis es im 12. Jahrhundert v. Chr. von den Philistern im Zuge des sog. Seevölkersturms übernommen wurde. Aufgrund seiner verkehrstrategisch günstigen Lage – Gaza war Endpunkt der Weihrauchstraße – stieg es im 8. Jahrhundert v. Chr. zur wichtigsten Stadt der Pentapolis der Philister auf.
Im 8. und 7. Jahrhundert v. Chr. wechselte die Stadt mehrfach den „Besitzer“. 734 v. Chr. wurde die Stadt von den Assyrern unter Tiglat-pileser III. erobert. 609 v. Chr. wurde sie wieder ägyptisch, 605/4 fiel sie ans Neubabylonische Reich. 525 v. Chr. stellte sie sich dem persischen Vormarsch nach Ägypten in den Weg, wurde letztlich aber doch ins Perserreich einverleibt. Unter den Achämeniden genoss Gaza wegen seiner Bedeutung für den Handel mit Arabien weitestgehende Autonomie.
Nach dem Ende des Alexanderreichs stritten sich die Diadochenreiche der Ptolemäer und Seleukiden um Gaza, bis es 200 v. Chr. endgültig in seleukidische Hand kam. Zu dieser Zeit begann der wirtschaftliche Niedergang der Stadt, die ihre Rolle als Handelsmetropole nicht zuletzt an Alexandria verlor. Von Alexander Jannäus wurde die Stadt im Jahr 98 v. Chr. schließlich völlig zerstört.
Von den Römern, insbesondere dem Proconsul Gabinius, wird Gaza Mitte des 1. Jahrhundert v. Chr. etwas südlich des alten Stadthügels neu aufgebaut. In Römischer Zeit war es vor allem für seine Rednerschule berühmt. Im 5.Jahrhundert wurde die Stadt mehrheitlich christlich, aber auch eine jüdische Gemeinde existierte.(Ueberreste einer Synagoge datiert 508/9, mit griechischen und hebr. Inschriften) Seine Bedeutung für den Handel erlangte es nicht wieder. Erst im 7. Jahrhundert, nach der Niederlage der Byzantiner durch die Araber, wurde der Handel mit Mekka – entlang der Route der Weihrauchstraße – wiederaufgenommen. Die Kreuzritter unter Balduin I, König von Jerusalem (1100), eroberten die Stadt die Gadres genannt wurde. Balduin III errichtete 1152 eine Festung, 1170 eroberte Saladin die Stadt. Unter mamelukischer (-ägyptischer) Herrschaft wurde Gaza zum Verwaltungssitz für den Küstenstreifen bis nördlich von Cäsarea (Maritima). Ab dem 15.Jahrh. wird von einer zahlreichen jüdischen Einwohnerschaft neben arabischer berichtet. 1799 eroberte Napoleon die Stadt für kurze Zeit, im ersten Weltkrieg bauten die Türken hier ihre erste Verteidigungslinie. Nach einem erfolglosen Angriff März/April 1917, eroberten am 7. November 1917 die Briten die Stadt.
Nach dem 1. Weltkrieg war es, wie der ganze Gaza-Streifen, ein Teil des britischen Mandats Palästina. 1948 wurde es von Ägypten besetzt, 1956 eroberte Israel es; danach stand es unter Ägyptischer Verwaltung, bis es im Sechstagekrieg abermals von Israel besetzt wurde. Heute ist es die Zentrale des stark umkämpften Gaza-Streifens.