文庙前有一棵蓊郁苍翠的银杏，至今已有1700多年历史。这棵银杏本来在文庙内，由于文庙大门在改造工程中往内移了5米，银杏被隔在了围墙之外。银杏俗称白果树，本有两株，1965年7月，西向一株在狂风骤雨中遭遇雷击，从此无存，东向这一棵也在1979年4月遭遇不测，被大风吹折，所幸劫后余生，留下一枝，至今葱绿如故，生机盎然。古银杏是有来历的。相传某朝某代有个白公子金榜题名时，自报家门武冈人，住在文庙，却查无此人，不过文庙内从此便有了两株参天银杏。于是，朝廷赐白公子为金榜状元，也不再询问真正的金榜状元何故隐居，居住何方。白公子化身白果树的传说流传至今。其实据考证，这两棵银杏是西晋时期陶侃亲手所植。陶侃是东晋大诗人陶渊明的祖父，在武冈当县令时，选定这里为学宫基址。后来受《庄子》“孔子游乎缁帷之林，休坐乎杏坛之上”的启发，在学宫内种植了两棵银杏。历代诗人对双银杏多有吟咏，以明末清初潘应星的《双杏歌》流传最广：“泽宫泮上双银杏，半亩阴森门墀静。雨露纷披岁月深，云烟高拂干霄影。苍茫古翠荫群材，杳霭低光启殿迥。冠盖威仪肃汉宫，郁葱佳气通云岭。”古银杏独特的历史人文价值和景观为文庙添上了精彩的一笔。