Die Gegend von Jacksonville war schon vor 6.000 Jahren von den Timucua besiedelt. Deren grösste Niederlassung in der Umgebung Ossachite war, die im heutigen Stadtgebiet von Jacksonville lag. Die erste ständige Siedlung der Neuzeit wurde als „Cow Ford“ 1791 gegründet. Nachdem Florida US-Bundesgebiet geworden war (1821), nahm die Stadt ihren heutigen Namen dem damaligen Gouverneur und späteren Präsidenten Andrew Jackson zu Ehren an.
Jacksonville war ein Schauplatz des Sezessionskrieges; obwohl keine Schlacht hier stattfand wurde sie trotzdem beschädigt.
Danach wurde die Gegend zu einem beliebten Winterquartier der Reichen und Berühmten. Die Stadt wurde 1886 und 1888 von Gelbfieberepidemien heimgesucht.
Am 3. Mai 1901 wurde die Stadt durch ein großes Feuer schwer zerstört, das in einer Matratzenfabrik ausgebrochen war. In der Mittagszeit hatte ein Glutfunke Füllmaterial entzündet. Im Glauben, mit ein paar Eimern Wasser ließe sich der Brandherd rasch löschen, wurde zunächst kein Feueralarm ausgelöst. Die Flammen breiteten sich aber schneller aus als gedacht und griffen um sich. Im Verlauf der folgenden acht Stunden wurden 2.368 Häuser zerstört und 10.000 Einwohner obdachlos. Die Katastrophe zählt zu den schlimmsten in Floridas Geschichte.
Während des zweiten Weltkrieges wurde in Jacksonville eine Trainingsstation der Navy eingerichtet, die später nach Pensacola verlegt wurde. Weiter in Jacksonville befindet sich heute noch eine große Basis der US-Navy (Naval Air Station Jacksonville).
Jacksonville war auch Schauplatz von Rassentrennung und Gewalt. Am 27. August 1960 gingen Mitglieder des Ku Klux Klans gegen protestierende Farbige vor. In jüngerer Zeit hat sich die Situation deutlich entspannt. So konnte 1995 Nat Glover zum ersten afroamerikanischen Sheriff von Duval County gewählt werden.
1967 wurden alle Ortschaften des Countys Duval außer 4 eingemeindet.