回雁峰为南岳七十二峰之首。古人一直认为，北来的大雁南飞至此处便不再南飞了，只等来年春天再飞回北方，故名。杜甫就写过“万里衡阳雁，今年又北归”。　　回雁峰的山门是一座石砌牌坊，过山门不远后有半山亭，再往上走，越过“百步云梯”后就可到达顶峰，峰顶有雁峰寺。

据史籍记载，这座寺庙建于南北朝时期，梁武帝时称乘云寺，唐以后改称雁峰寺，它与花药寺、西禅寺、罗汉寺并称为衡阳佛教禅宗四大寺院，历代有不少高僧都曾来此参禅。