乌石山景色颇为奇特，主峰上石壁裸露精光淄滑如同钢铸铁浇一般，由于多年的日晒雨淋，颜色黝黑，“乌石”之名即由此而来。当中还有一个石洞，叫做“幽岩”，“岩深三丈，方倍之，有泉穿石而出，终年不竭。岩背乌石划开，分峙左右，中深数石(十)丈。“(《民国县志》)南宋建都临安，梅岭成了“江右孔道”，当时的乌石山下就有一条东达临安，西接湘赣等地的官道，官道上铺有人字形青砖，据说当时每隔五里路即筑一砖窑，就地烧砖供铺路之用，人们在拓荒开路时还发掘出多处窑址和青砖路基。

乌石寺多有名人在此逗留，据旧志记载，南宋绍兴三年(1133年)，岳飞就曾在寺中过夜，并在木桌上题词：“岳飞奉旨趋阙，复如江右，假宿幽岩。游上方，览山川之胜，志期为国，急欲扫平胡虏，恢复舆图，迎二圣沙漠之辕，辅圣主无疆之休，因结缘佛事，以记。宋绍兴三年十月初三日题。”岳飞还写有《招庆寺送张紫岩北伐》诗传世。张滩[即张紫岩)、刘光世等将领也曾在寺中题壁，周必大、姜蛮等人还有诗文传世。