明嘉靖二十四年（1545年），思想家罗汝芳曾在此建立“从姑山房”，接待四方来和他共同讲学的人。明代伟大的戏曲家汤显祖曾求学于此。

从姑山在古时为文人云集之地。据《麻姑山志卷十二附从姑山》记载，在此挥毫题句者，达四十三处。至今“飞鳌峰”、“洗心池”、“玉立”、“高山仰止”等，仍一一镌刻石崖之上。尤以罗汝芳题的“飞鳌峰”三字赫然在目，笔力超群，疑非人力所致。从姑山石刻1983年被列为县级重点文物保护单位。