桃溪寺原为播州土司杨氏庄园中之家庙，明万历二十八年(1600年)平播战乱中被焚毁，随后重建，该寺距今已有400多年历史。

桃溪寺为木结构四合院式建筑，山门两侧为八字墙，门上匾额横书“桃溪寺”三字、整个寺宇背依一片古枫翠柏，面临清澈明丽的桃溪河水，桃溪河两岸桃李成片，绿柳垂丝，是近郊一片难得的田园佳境。桃溪寺为省级文物保护单位。