因阿尔泰山而得名，曾称金微山和金山。阿尔泰系蒙古语和突厥语，意为“金子”，因此山产金，故名。

从汉代起，先后为塞种、匈奴、鲜卑、柔然、突厥等的游牧地。唐代归安西都护府管辖，后改隶于北庭都护府。元代先为别失八里行尚书省，后为岭北行省辖地。明及清初为蒙古瓦剌部（后称卫拉特）的游牧地。清代又有哈萨克克烈、乃蛮、乌孙等部落迁居此地。清乾隆二十八年（1763年）为科布多参赞大臣辖地。同治十三年（1874年），清政府在克兰河畔修建喇嘛庙“承化寺”，翌年即光绪元年，庙宇竣工，始有固定居民。地名亦称作承化寺，为阿勒泰地区之雏形。光绪三十二年（1906年），科布多与阿尔泰分治，另设阿尔泰办事大臣，驻承化寺。

民国元年（1912年）为阿尔泰办事长官治所，成为阿尔泰地区政治的中心。民国八年（1919年）撤阿尔泰办事长官，置阿山道；由中央政府直属改由新疆省管辖。民国十年（1921年）置承化县，先后隶属阿山道、阿山行政区、阿山专区。1953年改为阿泰县。1954年，改阿山专区为阿勒泰专区；改阿泰县为阿勒泰县，属阿勒泰专区。1970年后隶属阿勒泰地区。1984年11月17日，国务院批准撤销阿勒泰县，设立阿勒泰市。

元代为蒙古诸王封地。明代属杜尔伯特部的牧地。清代归科布多参赞大臣管辖，清光绪三十二年（1906年）设阿尔泰办事大臣。民国二年（1913年）设承化县佐，属阿山特别行政区管辖。民国八年（1919年）划归新疆省阿山道管辖。民国十年（1921年）设承化县。1953年改称阿泰县。1954年改名为阿勒泰县。为地区行政公署所在地。

2000年，阿勒泰市辖3个街道、2个镇、9个乡。