Luoyang liegt in der zentralen Ebene Chinas, die schon während der Jungsteinzeit (vor etwa 7000 Jahren) dicht besiedelt war. Dies zeigen Funde, welche im Zuge von Bewässerungsarbeiten in den 1950er Jahren gefunden wurden.
Die Stadt wurde ursprünglich von Zhougong (周公) im 11. Jahrhundert v. Chr. errichtet und hieß damals Chengzhou (成周). Man sagt, dass Konfuzius in Luoyang studierte und Laozi ebenfalls hier arbeitete.
Um 770 v. Chr. wurde die Stadt zur Hauptstadt der Zhou-Dynastie. Im Jahr 510 wurde sie in einem Bürgerkrieg zerstört, im Jahr darauf auf Anordnung des Königs jedoch wiederaufgebaut.
Im Jahr 25 n. Chr. wurde Luoyang Hauptstadt der Han-Dynastie. Später hatten auch die Wei-Dynastie und die Jin-Dynastie ihr Zentrum in Luoyang. Während sieben Jahrhunderten war Luoyang dann das Zentrum Chinas. Im Jahr 68 n. Chr. wurde in Luoyang der erste buddhistische Tempel Chinas gegründet. Diesen Tempel kann man heute noch finden, jedoch größtenteils in der Architektur des 16. Jahrhunderts.
Die Stadt verfügte auch über eine große kaiserliche Schule, an der 30.000 Studenten lernten. Ebenso wurde in Luoyang durch Cai Lun das Papier erfunden und auch der Astronom Zhang Hen war in Luoyang tätig. Nach dem Fall der Han-Dynastie schrieb Zuo Si das Gedicht Die drei Hauptstädte, das bis heute bekannt ist.
Im Jahr 493 verlegte die Nördliche Wei-Dynastie ihre Hauptstadt von Datong nach Luoyang. Gleichzeitig begann man, die Longmen-Höhlen zu graben. Dort hat man mehr als 30.000 buddhistische Bilder aus der Wei-Zeit gefunden. In jener Zeit soll Luoyang eine Bevölkerung von einer halben Million Einwohnern gehabt haben. Sie stieg zu einem der wichtigsten Handelszentren in Asien auf. Schon 543 gaben die Wei-Kaiser Luoyang auf und zwangen die Bewohner, mit ihnen nach Ye zu ziehen; die Stadt zerfiel.
Die Sui-Dynastie wählte wiederum Luoyang als Hauptstadt ihres Reiches. Die Stadt wurde in kürzester Zeit neu erbaut und zählte dann eine Million Einwohner. Im Jahr 1971 hat man einen Getreidespeicher gefunden, der 250.000 Tonnen Getreide vor Feuchtigkeit und Ungeziefer schützen konnte.
Die Tang-Dynastie verlegte ihre Hauptstadt nach Chang'an, dem heutigen Xi'an. Damit begann der Abstieg zu einer normalen chinesischen Stadt, der sich mit dem Untergang der Tang noch verstärkte.