Im Jahre 1517 landete der portugiesische Händler Fernão Pires de Andrade an der südchinesischen Küste, um mit Händlern aus Guangzhou zu verhandeln. Aus damaligen Aufzeichnungen geht hervor, dass die Flotte der Portugiesen auf einer Tuen-Mun-Insel an Land ging und einige Einheimische tötete, wobei dieses Tuen Mun im heutigen Hongkong liegen dürfte. Dass aus der ursprünglich rein landwirtschaftlichen Besiedelung mittlerweile nennenswerte Dörfer entstanden waren, belegen Karten aus jener Zeit, in denen einige größere Siedlungen im Territorium eingezeichnet sind.
Nach dem Fall der Ming-Dynastie und der Vernichtung der Exil-Ming auf Taiwan unter Koxinga fiel die Region des heutigen Hongkong an den Bezirk Xin'an (新安縣, xīnānxiàn). Kaiser Kangxi ließ Befestigungsanlagen und Militärlager einrichten, um die Küste besser verteidigen zu können.