Die Stadt liegt an der nördlichen Spitze der San-Francisco-Halbinsel, welche die Bucht von San Francisco südwestlich abschließt, und wird im Westen vom Pazifik, im Norden vom Golden Gate und im Osten von der Bucht begrenzt. Im Süden liegen die 300 m hohen Twin-Peaks, die von den spanischen Missionaren auf Grund ihres Aussehens „Los Pechos de la Chola“, zu deutsch „Die Brüste des Indianermädchens“, genannt wurden. San Francisco ist auch berühmt für seine Hügel, die ab 30 Metern Höhe "Hill" genannt werden; es befinden sich davon 42 im gesamten Stadtgebiet. Um die mitunter sehr steilen Straßen überwinden zu können, entwickelte Andrew Smith Halli um 1870 die Cable Cars. Die "Belle of the Bay", wie die Stadt auch liebevoll genannt wird, ist eine der bedeutendsten Hafenstädte an der Westküste Nordamerikas. Diese Bedeutung erlangte die Stadt durch den vom Meer geschützten Naturhafen. In der Bucht von San Francisco liegen die bekannte, heute nur noch als Museum dienende Gefängnisinsel Alcatraz, die Angel Island, Treasure Island, Yerba Buena Island und weitere kleine Inseln, sowie die Farallon-Inseln im Pazifik.