山前一带，水积如湖，时称圣堂。因那里先有龙祠，后人便根据刘禹锡的名句“水不在深，有龙则灵”，将圣堂改称灵湖(明朝时湖已干涸，今已淤浅成田)，寺也因此而得名。

　　寺的前身叫永庵，始建于宋朝乾道初年(1165年)。广海奇石彭城，自幼出家，僧号应玑，作有《灵湖山水之记》记道：“予之师永公，乾道之初，始辟路于龙祠之侧，树以松筠，筑庵居之。”寺原是一座三进的建筑，前座正中是观音莲座，两厢分供十八罗汉佛像，中腰是一小庭院，植有一树菩提(后来枯萎);庭院两边，是僧徒门的住处。后座是大雄宝殿，供奉三宝大佛。寺后有果园。宋朝开禧三年(1207年)改建后易名为“灵湖寺”。关于灵湖寺的建成和得名，有不少美丽的传说。相传过去有几个和尚在海边散步，一天他们忽然见到海上浮来了一个棺材，几位僧人将棺材捞起，拆开一看，只见棺内装的是金银财宝。僧人并没有贪财，决定建一座寺庙，就是后来的灵湖寺。灵湖寺之名取宋代刘禹锡的名句“水不在深，有龙则灵”的诗意。加上当时寺前是宽阔的滩涂，积水如湖，故称“灵湖寺”。

　　据清康熙《新宁县志》载：“南北朝梁天监元年(502年)有印僧智药三藏在新会郡地广海登陆，在乌洞手植菩提树一株，其地后建灵湖寺。”此后，智药三藏留弟子守住该处，他前往肇庆鼎湖，因此广海一直有“先有灵湖，再有鼎湖”的传说。然而，据广州光孝寺的史料记载，智药三藏大师在灵湖寺植下菩提树后，把另一棵带来的菩提树植在光孝寺。康熙年间《新宁县志》记载，其时，这棵菩提树已长到“大可数围，高六七丈”。然而，如今广州光孝寺的菩提树已不再是当年智药三藏大师手植的菩提树，广海灵湖寺的菩提树后来也不知什么时候没有了。宋初(1165年)嘉定年间，乡人在智药三藏手植菩提处建起灵湖寺。