明朝嘉靖二十四年(1545年)，汝南大旱，当时在汝南居住的崇庄王，看到汝河断流，大地干裂，庄稼枯死，百姓流离失所。就在小南海设坛求雨。百姓闻讯从四面八方来到小南海参加求雨的行列。突然，大慈大悲的观世音菩萨显像在崇庄王面前，崇庄王忙俯身下拜，祈求观音慈悲。这时，天空乌云密布，一阵风起之后，果然下起倾盆大雨。崇庄王立即拿出数十万银两，命手下的官员李铭，李宝等在小南海建观音阁。以后，人们逢事常有求于观音，每次总有灵验，一传十，十传百。十里八乡的百姓、乡绅、地方官员都来进香朝拜，香火逐渐旺盛。特别是到农历二月十九日观音菩萨生日这天，各地香客一起聚集到小南海朝拜。同时也引来了众多的商贩、戏班、杂耍等，热闹非凡。此俗从明嘉靖年间沿袭至今，经久不衰，已成为全国较为著名的古庙会之一。

小南海内有自然景观，也有建筑景观。从明代开始，人们先后建起了观音阁、准提楼、戏楼等建筑，使其成为古代豫南著名的佛教观光胜地。当时，人们总结有小南海六景：假山亭榭，老藤古柏，紫竹青兰，花卉草坪，堤岸垂柳，湖边葱林。

观音阁原有招提山门三楹（寺内建筑有一立柱就为一楹，一楹约为一间房的规模）南、西各有角门（后门）一楹。山门之后是三楹天王殿，殿内两侧各建钟楼一楹，而后是大雄宝殿。宝殿之后是七楹观音阁，阁的东西各建五楹画廊，阁后是禅堂。南湖观音阁曾是名扬遐迩的游览圣地，文人墨客为南湖观音阁题诗作赋以示高雅者更不胜枚举。光阴荏苒，沧海桑田。小南海观音阁由于受时光、风雨的剥蚀，当年盛况久已不见。我们只能从画家的笔下感受小南海昔日的胜景。