Die große Wildganspagode war ursprünglich ein Tempel aus der Sui-Dynastie, welcher im Jahre 647 von Kaiser Gaozong (Tang-Dynastie) zu Ehren seiner Mutter ausgebaut wurde. In diesem Tempel lebte der Mönch Xuanzang (玄奘）; er war 17 Jahre durch Indien gereist und hatte dort den Buddhismus kennengelernt. Die buddhistischen Schriften, welche er von dieser Reise mitgebracht hatte, übersetzte er in diesem Tempel. Die Geschichte ist in künstlerischer Form im Roman Die Reise nach Westen (西游记 Xi Youji) aus der Ming-Dynastie (Mitte des 16. Jahrhunderts) von Wu Cheng'en (吴承恩) festgehalten worden, den jedes Kind in China kennt und der mehrfach verfilmt wurde. Zum Andenken des Mönches Xuanzang steht hinter der Pagode eine große Bronzeskulptur.
Die große Wildganspagode besteht aus sieben Stockwerken. Im Inneren befindet sich eine Holztreppe, auf welcher man in die sieben Stockwerke gelangen kann und (bei klarer Luft) eine gute Aussicht genießt.
Der Name Wildganspagode geht auf eine indische Legende zurück: „Einst gab es ein Kloster des Hinayana-Buddhismus, in welchem Mönche auch Fleisch essen durften. Eines Tages gingen die Fleischvorräte zu Ende und einer der Mönche rief; ‚Wir haben kein Fleisch mehr, und Buddha sollte das wissen‘. In diesem Moment fiel eine Gans aus einer Schar Wildgänse, die gerade über das Kloster flogen, tot vom Himmel. Die erschrockenen Mönche - im Glauben, Buddha selbst habe sich geopfert - errichteten der Gans eine Pagode“.