该寺始建于南北朝中期，宋朝之后，各朝以石窟为中心，随山就势，陆续建筑了殿宇楼阁、卧石栏杆、石桥牌坊等，形成了布局巧妙，景致雅观，古色迷人的游览胜地。隋唐时期，有人曾雕刻石马一对，立于寺院之中，“石马寺”故此得名。

有关“石马”的神奇传说很多。相传这一对石马，每逢阴雾天气，石马口中会不断吐出烟雾来，这就是“石马含云”的所谓说法。

其二，“石马寒云”即“冬月云生则雪降”，意思是说，冬季到来，凡石马寺生云，天就要降雪了。据当地群众说，这一说法是较正确的。

由于石马寺景色秀丽，不少名人留诗赞美，明吏部尚书乔宇诗云：“沾岭南来是此峰，峰头雪气护寒冬。天低远岫，林俱瞑，日堕阴崖雪半封。千古按图空作马，万年为瑞合从龙。因占赵地如牛象，一统山河岂易逢。”乔国鼎诗云：“烟雾吐浓浓，灵机造化钟。只今多石马，那复白云封”