Die Geschichte des Jemen ist seit dem 8. Jahrhundert v. Chr. vor allem durch den Weihrauchhandel und die sich darauf begründenden Königreiche gekennzeichnet. Das bedeutendste Reich war Saba mit seiner Hauptstadt Marib. Um die Zeitenwende begann der langsame Niedergang der antiken Reiche an der Weihrauchstraße. Zwar gelang den Himjariten im 3. Jahrhundert nochmals die Einigung des Landes, doch wurde das Land 525 von Aksum erobert. 628 schloss sich der Jemen der Lehre des Propheten Mohamed an.
Die Bevölkerung übernahm schnell den Islam. Innerhalb des Kalifats stieg der Jemen aber zu einer Randprovinz herab. Dies begünstigte seit dem 9. Jahrhundert die Entstehung mehrerer Dynastien, deren bedeutendste die der Zaiditen war. Sie sollte im Nordjemen bis 1962 herrschen. Als sich im 10. Jahrhundert der Schwerpunkt der Handelswege zwischen Mittelmeer und Indien vom Irak nach Ägypten verlagerte, begann auch im Jemen der wirtschaftliche Aufschwung. Seine Blütezeit erlebte das Land unter den Rasuliden bis ins 15. Jahrhundert.
Mit der Entdeckung des Seeweges nach Indien durch die Portugiesen verlor das Land für den Welthandel an Bedeutung und wurde im 16. Jahrhundert von den Osmanen erobert. Nach der Eröffnung des Sueskanals im 19. Jahrhundert geriet der Jemen wieder verstärkt in den Blickpunkt der Großmächte. Während Großbritannien im Jahre 1839 Aden und damit den Südjemen besetzte, konnte der Nordjemen unter den Zaiditen seine von den Osmanen unterstützte Staatlichkeit behaupten. 1905 legten das Osmanische Reich und Großbritannien die gemeinsame Grenze zwischen ihren Protektoraten fest. Nach dem Zerfall des Osmanischen Reiches wurde der Nordjemen 1919 unabhängig und führte von da an immer wieder einen Guerillakrieg gegen den südlichen, noch immer britischen Landesteil.
Allerdings gelang es den regierenden Imamen nicht, das Land zu modernisieren. Ihre konservative Herrschaft führte 1962 zum Sturz der Zaiditen und zur Ausrufung der Republik. Seitdem wurde zwar die Modernisierung des Landes eingeleitet, doch konnten die wirtschaftlichen Probleme durch das hohe Bevölkerungswachstum nicht gelöst werden. 1990 gelang durch den Anschluss des bisher kommunistischen, realsozialistischen und säkularen Südjemen auch die Vereinigung des Landes, politische Stabilität und Demokratie herrschen im Jemen aber noch immer nicht, siehe unter Politik.