这里在辽、金、元时建离宫，明、清时被辟为帝王御苑，它早在九世纪末就被辽朝统治者辟为游乐场所，名为“瑶屿”，万寿山、太液池、藏式白塔、傍水而建的半圆形游廊，更是曲折巧妙而饶有意趣。

白塔山亦称琼华岛、琼岛，位于南半部水面，岛为椭圆形，周长880米、高45米，是金代从汴梁（今开封）运大量太湖石堆叠而成的。山顶正中为白塔，依山势建有永安寺建筑群。山南侧有永安桥通团城和园前门。

山北隅有仿镇江金山寺的漪澜堂、道宁斋、碧照楼、远帆阁、延楼等。山西坡有琳光殿和阅古楼，山垠有亩鉴室、烟云尽态亭、甘露殿、蟠青室、摄山亭等，景色古雅幽静。山东麓林木成荫，怪石嶙峋，崖洞深邃。白塔与山门、石牌坊至智珠殿、见春亭等一组建筑、风景融合在一起，构成了燕京八景之一的“琼岛春阴”。