Am 18. Dezember 1811 starb die Schauspielerin Elizabeth Poe in einem Richmonder Hotel und hinterließ neben zwei anderen Kindern den zweijährigen Edgar Poe, der als Pflegekind in die Familie des Tabakhändlers John Allan aufgenommen wurde. So wurde Richmond zur eigentlichen Heimatstadt von Amerikas größtem und unglücklichstem Dichter, der hierher immer wieder zurückkehrte.
Nach dem Unabhängigkeitskrieg erholte sich die Stadt schnell und boomte bis Mitte des 19. Jahrhunderts auf ca. 100.000 Einwohner. Sie galt als Metropole des Südens und löste daher 1861 Montgomery als Hauptstadt der Konföderation ab. Zudem befanden sich hier mit den Tredegar Iron Works die wichtigsten eisenproduzierenden Firmen des Südens. Militärstragegisch gleichermaßen exponiert wie Washington war Richmond in den Kriegsjahren heftig umkämpft. Folgerichtig ergaben sich die Truppen der Südstaaten unter General Lee nur eine Woche nach dem Fall der Stadt am 3. April 1865. Richmond war fast vollständig durch einen verheerenden Brand im Zuge der Belagerung zerstört worden. Angeblich hatten konföderierte Soldaten der Union keine intakten Tabak- und Waffenvorräte hinterlassen wollen, und daher die Lagerhäuser in Brand gesetzt.
Richmond benötigte wie ganz Virginia Jahrzehnte, um sich einigermaßen von dem politischen und wirtschaftlichen Zusammenbruch zu erholen. Doch auch heute noch ist Tabak der wichtigste Handelsfaktor.