Die Stadt hat ihren Namen vom Wat Phnom Daun Penh (Hügeltempel), der 1372 auf einem künstlichen 27 m hohen Hügel errichtet wurde, um fünf Statuen von Buddha aufzunehmen.
1434 verlegte der letzte Herrscher von Angkor seine Residenz in den Großraum des heutigen Phnom Penh, nach Lovek, nachdem Angkor 1431 von Ayutthaya, dem Königreich der Thai, erobert und dessen lebensnotwendige Bewässerungssysteme zerstört worden waren. Im 16. Jahrhundert wurde Lovek wieder verlassen. Erst 1866 verlegte König Norodom I. auf Druck der Franzosen seinen Regierungssitz von Udon nach Phnom Penh. 1867 wurde die Stadt auch Sitz der französischen Kolonialverwaltung. Die Franzosen planten und bauten die Stadt neu auf. Um die Sumpfgebiete im heutigen Stadtgebiet trocken legen zu können, wurde ein Kanalsystem geschaffen. Seit 1933 verbindet eine Eisenbahnlinie Phnom Penh mit der Hafenstadt Kompong Som, dem heutigen Sihanoukville.
Die Stadtbevölkerung von Phnom Penh bestand vor der Erlangung der politischen Unabhängigkeit Kambodschas 1953 zu je einem Drittel aus Vietnamesen, Chinesen und Khmer. Erst ab der zweiten Hälfte der 1950er Jahre begann sich das demographische Verhältnis zugunsten der Khmer deutlich zu verschieben. Heute stellen Vietnamesen und Chinesen eine zahlenmäßig zwar kleine, jedoch wirtschaftlich umso einflussreichere Minderheit der Stadtbevölkerung.