今庐江之地，春秋属舒国，战国属楚，秦属舒邑，汉为舒县。“庐江郡”设于西汉初。“庐江县”名始于隋(《隋书·地理志》)，另说始于南朝梁(《太平寰宇记》)，两说时间仅相差几十年。庐江县设立以后，隶属和地域多有变化。

1947年，9月11日中国人民解放军晋冀鲁豫野战军三纵八旅二十四团攻克庐江县城，成立庐江民主县政府，月底部队转移后即撤销，年底，庐南大化至砖桥一线和桐城东北乡建立桐庐民主县政府，庐江同时建立湖西民主县政府。桐庐、湖西两县同属皖西第二专员公署(驻桐城境内)。1948年8月，湖西县划分为庐江、湖西两县，新的湖西县属皖西第四专员公署(驻无为开城)，庐江县仍属二专署。1949年，1月22日庐江全境解放，庐江、桐庐两县属桐城专区，2月桐庐县原庐江庐南部分归还庐江建制，7月湖西县并入庐江，隶皖北行署巢湖专区。

1952年2月4日，庐江县划属安徽省芜湖专区。

1958年7月7日，庐江县由芜湖专区划属六安专区。

1965年7月14日，设巢湖专区(专署驻巢县城)，庐江县由六安划归巢湖专区。1971年8月29日，巢湖专区改称巢湖地区，庐江属之。2000年1月，撤销巢湖地区设省辖巢湖市，庐江隶属巢湖市。

2011年8月，庐江县因撤销巢湖市被划属合肥市。