陈宣帝太建七年(575年)，智者大师初来天台山，度石梁，夜宿定光禅师的草庵(石桥庵)。“石桥庵”，即东晋昙猷和尚隐居的地方，是方广寺的前身。“石桥庵”的存毁年代已无从考证。据《天台山全志》记载：下方广寺正式建寺始于宋徽宗建中靖国元年(1101年)，后毁于火。宋光宗绍熙四年(一一九八年)复建。明神宗万历三十二年(一六○四年)居士葛一鹏又重兴。

　　方广寺分上方广寺、中方广寺和下方广寺三寺，是天台宗著名寺院。寺院因年久失修，庙宇房屋毁坏殆尽。党的十一届三中全会以来，在国清寺方丈唯觉法师主持下，得到海内外佛教徒的资助，进行全面整修，使古刹重放光彩。1989年10月14日，下方广寺举行了隆重的佛像开光仪式。

　　下方广寺现有山门、大雄宝殿、五百罗汉殿、会佛堂、地藏殿、伫真堂、左右厢房等建筑。

　　五百罗汉堂内供奉五百罗汉塑像，神态各异，栩栩如生。罗汉是僧人个地达到的最高果位。五百罗汉本是佛祖释迦牟尼的弟子，后随佛修道得阿罗汉果，因天台山的奇山异水，使五百罗汉常来此现身度众生。据史书记述，东晋兴宁年间(三六三年至三六五年)西域高僧昙猷法师在此修行。一天，他曾过石桥，五百罗汉或坐、或卧、或立、或行。后来他住万年寺，又见五百罗汉留连于八峰双洞之间。这曾与《西域记》记载的“佛言震旦天台山方广圣寺，五百罗汉居焉”相吻合，从此，天台山一带不断传有“罗汉显圣”、“罗汉化身”、“罗汉转世”的传说。天台山石梁方广寺成为五百罗汉现身应化之处。另有传说五百罗汉原是一群有文有武、三教九流的各色人物，他们在此相聚，抢劫赌博，无所不为。有一次观音菩萨到此，为了点化这批狂徒，以“放下屠刀，立地成佛”的教义相开导，结果，五百罗汉深受教诲，终于改邪归正，各成正果。因此“五百罗汉”之说是始发于天台，而后传向全国的。