Nanjing gehört zu den ältesten Städten Südchinas. Der Legende nach hat Fu Chai, der Herrscher von Wu, auf dem Gebiet des heutigen Nanjing bereits 495 v. Chr. eine Stadt namens Yecheng (冶城) erbaut. Bereits 473 v. Chr. soll aber bereits der Staat Yue Wu erobert und in der Nähe des heutigen Zhonghua-Tors die Stadt Yuecheng (越城) errichtet haben. 333 v. Chr. schließlich, nach dem Untergang des Yue-Staats, baute der Staat Chu im Nordwesten des heutigen Nanjing die Stadt Jinling Yi (金陵邑). Seit damals hat die Stadt zahlreiche Zerstörungen und Wiederaufbaumaßnahmen erlebt.
Erstmals Hauptstadt wurde Nanjing 229 n. Chr., als Sun Quan von Wu während der Zeit der drei Reiche seine Residenz nach Jianye (建邺) verlegte, eine Stadt am Fuße von Jinling Yi. Nach der Invasion der Fünf Hu floh der Adel der Jin-Dynastie über den Yangzi und machte Nanjing unter dem Namen Jiankang erneut zur Hauptstadt. Sie verlor diesen Status erst wieder unter der China vereinigenden Sui-Dynastie.
Einen Aufschwung erlebten Nanjing und insbesondere seine Industrie dann wieder unter den Tang und Song. Zur Zeit der Yuan-Dynastie Mongolenherrschaft wurde die Stadt zu einem Zentrum der Textilfertigung.