Im 1. Jahrhundert v. Chr. wurde bei Wincobank (im Nordwesten der Stadt) eine Festung errichtet. Gebaut wurde es durch den keltischen Stamm der Briganten, welche vergeblich versuchten, die Expansion der Römer zu verhindern. Eine kleinere Römerstraße führte durch den Nordteil der Stadt, doch Sheffield entwickelte sich nicht zu einer vollwertigen Siedlung, jedenfalls nicht bis zur Zeit der Angelsachsen.
Diese gründeten am Fluss Sheaf eine Siedlung, welche sie Scafield oder Escafield nannten. Im südwestlichen Vorort Dore wurde 829 das Königreich Wessex gegründet, aus welchem sich einige Jahrzehnte später das Königreich England entwickelte. Wessex war das einzige bedeutende Königreich auf der Insel, das nicht von den Wikingern erobert wurde. Im Jahre 954 wurde Wessex mit den Königreichen Mercia, Northumbria und East Anglia vereinigt und bildete einen Teil des dänischen Herrschaftsgebietes, dem sog. Danelaw. Im lokalen Dialekt sind aus dieser Zeit viele Ausdrücke der Wikinger erhalten geblieben.
Im frühen 12. Jahrhundert, unter der Herrschaft des Lehnsherrn William de Lovetot, wurde eine Kirche errichtet, aus der sich später die Kathedrale von Sheffield entwickelte. Er ließ auch ein hölzernes Schloss errichten, das um 1270 durch eine Steinkonstruktion ersetzt wurde. In diesem Schloss wurde von 1570 bis 1584 Maria Stuart, die Königin von Schottland, gefangen gehalten. Während des englischen Bürgerkriegs wurde Sheffield mehrmals von beiden Konfliktparteien erobert und fiel 1648 endgültig in die Hand der Republikaner unter Oliver Cromwell, welche das Schloss zerstörten.