Die ältesten Inschriften, die Sana'a als Stadt erwähnen, gehen auf das 1. Jahrhundert zurück, es wird aber vermutet, dass an dieser Stelle schon früher gesiedelt wurde. Im 10. Jahrhundert nennt Muhammad al-Hasan al-Hamdani den sabäischen König Sha'r Awtar als den Gründer der Stadt, der auch den berühmten Ghumdan-Palast erbaut haben soll. Sha'r Awtar lebte in der zweiten Hälfte des 2. Jahrhundert.
Eine Gründunglegende nennt Noachs Sohn Sem als den Gründer der Stadt (Madinat Sam, die Stadt Sems) , wobei der alte Name der Stadt Azal angeblich auf Uzal, einen Nachkommen Sems, zurückgeht. Das Reich der Sabatäer soll genauso einen der Gründungszeiträume darstellen.
Als Hauptstadt der Himyariten (seit 520) war Sana'a im 6. Jahrhundert zwischen Persien und Abessinien umkämpft. Während der 50jährigen Herrschaft der Abessinier (siehe: Abraha) wurde mit Hilfe des byzantinischen Kaisers Justinian I. eine große Kathedrale gebaut, welche als die größte südlich des Mittelmeerraums galt.
628 nahm Jemen den Islam an, und der Prophet Muhammad persönlich soll die Anweisungen zum Bau der ersten Moschee in Sana'a gegeben haben. Im 12. Jahrhundert fällt es unter die Herrschaft der Ayyubiden.
Die Stadt wurde von einem Imam beherrscht, welcher die weltliche und geistliche Macht in sich vereinigte, und dessen Würde erblich war. Durch das Eindringen des Paschas von Ägypten nach Jemen - 1517 wird Sana'a autonomes Sultanat - wurde die Macht des Imams nach und nach auf die Stadt Sana'a und einige andere Plätze beschränkt, bis Mitte der 1850er Jahre die herrschende Familie definitiv abgesetzt wurde und an Stelle der Imams wähl- und absetzbare Scheichs traten.
Im 18. Jahrhundert betrat mit Carsten Niebuhr der erste Europäer der Neuzeit die Stadt. Seine Expedition stand im Auftrag von König Friedrich V. (Dänemark). Von 1872 bis 1890 wurde es osmanisch regiert. Die Osmanen starteten ein Modernisierungsprogramm für die Stadt.
Gegen Ende des 19. Jahrhunderts hatte die Stadt ein Kastell und Mauern mit Türmen, 50 Moscheen, Karawansereien, öffentliche Bäder, Gärten und Weinberge, lebhaften Handel, besonders mit Kaffee, und circa 30.000 Einwohner, darunter auch 1500 Juden. Eine Wasserleitung führte das Wasser vom Berg Nokum in die Stadt.
Es war Hauptstadt des Imams Yahya bin Muhammad (1904-1948). Nach dessen Ermordung 1948 verlegte sein Sohn, Ahmad ibn Yahya (1948-1962), die jemenitische Hauptstadt nach Taizz.
Nach dessen Tod wurde 1962 die Arabische Republik Jemen (Nordjemen) ausgerufen. Es kam zum Bürgerkrieg bis 1969. Die Verbündeten Nordjemens, Ägypten und die Sowjetunion, unternahmen große Vorhaben zur städtebaulichen Entwicklung. Nach der Wiedervereinigung beider Jemen 1990 wurde Sana'a Hauptstadt des gesamten Jemen.