万寿山は地質的には燕山山脈の一部に属し、高さは約60メートル。老人が山中で石の甕を作ったという言い伝えから、古くは甕山と呼ばれていた。

1494年(明の弘治7年)孝宗の乳母である助聖夫人羅氏が園静寺を造営したのがこの地域の開発の始まりで、その後清朝に至り、この一帯は宮廷馬の放牧地として利用されていた。本格的な造営が始まったのは1750年(清の乾隆15年)からで、乾隆帝が皇太后60歳の誕生日を記念するために、園静寺の跡地に大報恩延寿寺を建立し、その際山名も万寿山に改められた。

その後昆明湖の拡張で出た土砂を用い、万寿山の稜線が左右対称になるように積み上げられ、今日の頤和園の原型が完成することになる。山中の主要な建造物は山の麓から頂上に向かって段々に築かれているが、現存する建物は1860年に英仏連合軍によって焼き払われた後に西太后によって再建されたものだ。

昆明湖を望む南側の斜面には、山麓の排雲門から二宮門、排雲殿、徳輝殿、仏香閣と頂上の智慧海までの中央線上に主要な建物が立ち並び、背面にあたる北側斜面にはチベット仏教の寺院である四大部洲と五彩の瑠璃煉瓦で築かれた多宝塔などが建てられている。

南斜面の仏香閣からは昆明湖の全体を俯瞰することが出来る。