In der Gegend der heutigen Stadt Guiyang gab es schon während der Han-Dynastie eine städtische Siedlung. Die Stadt selbst wurde im Jahr 1283, zur Zeit der Yuan-Dynastie als Militärstützpunkt gegründet. Ihr damaliger Name Shunyuan (順元) bedeutet den Yuan treu.
Während der Ming-Dynastie hieß die Stadt Xinggui und wurde mit der heute noch zum Teil erhaltenen Stadtmauer umgeben. Den heutigen Namen Guiyang bekam die Stadt in den Anfangsjahren der chinesischen Republik im Jahr 1913.
Seit 1941 ist Guiyang eine Stadt.