Die Lehmwälle, die Kempe Gowda bei Bau der Festung 1537 anlegen ließ, genügten Hyder Ali nicht. Er ließ sie durch Steinmauern ersetzen und einen Graben ziehen. Die Tore und Bögen wurden im islamischen Stil gebaut. Da Hyder Ali Andersgläubige tolerierte, entstand unter seiner Herrschaft ein kleiner Ganesh-Tempel innerhalb der Festungsmauern. Heute sind Teile der Mauern als Folge des Straßenbaus niedergerissen worden; für den Bau des Victoria-Hospitals wurde ein Graben zugeschüttet. Von den acht Toren ist nur noch das Delhi-Tor geblieben.