大禹建立国家后，把国家分为九洲，此时的鄂尔多斯为雍洲所辖，而鄂尔多斯的西南部则属渠搜国所管。
成汤灭夏后，夏因君主的儿子獯鬻带着眷属逃到渠搜避难，从此之后，鄂尔多斯的西南部被獯鬻所统。商朝建立后，鄂尔多斯西南部被划为鬼分。
商朝灭亡之后，狺狁民族的军事力量日渐强大，威胁着西周的安全，周宣王于公元前827年和822年，分别派大将南仲、尹吉甫两次进攻狺狁，并命令南仲在萨拉乌素河、榆溪河沿线要地筑城设防，历史上被称为朔方城，在今鄂尔多斯东北部置榆中。公元前5世纪末，今鄂尔多斯东部的准格尔旗一带为魏国行政辖区，名上郡。公元前328年，魏被秦战败，魏把上郡割让于秦。此后，秦国杀掉义渠王，在鄂尔多斯西南部的鄂托克前旗、鄂托克旗及其相邻地区设置了北地郡，其余地域为楼烦等游牧部落的聚居区。公元前306年，赵国打败林胡、楼烦，在鄂尔多斯东北部一带设置云中郡、九原郡。战国后期，鄂尔多斯东部地区一直为秦国所有。
公元前221年，秦始皇统一中国，在鄂尔多斯设立郡、县。鄂托克旗、鄂托克前旗一带属北地 郡，准格尔旗、伊金霍洛旗东部一带属云中郡，达拉特旗、准格尔旗北部一带属九原郡，乌审旗、鄂托克前旗、伊金霍洛旗南部一带属北地郡，四郡下辖34个县。此时的鄂尔多斯地区有两个历史称谓，即“新秦中”、“河南地”。
公元前127年，西汉在今鄂尔多斯达拉特旗北部地区设五原郡，郡下设河阴、曼柏、高兴三县；杭锦旗一带设朔方郡，郡下设临戎、沃野、临河、广牧、朔方、呼遒、渠搜等县；准格尔旗北部地区设云中郡，郡下设沙南县；在今准格尔旗东部及东胜区、伊金霍洛旗相关地区设西河郡，郡下设谷罗、富昌、美稷、增山、虎猛、大成6个县；在今乌审旗一带设上郡，郡下设奢延、白土、高望3县。公元12l年西汉为了管理投降汉朝的匈奴人，在鄂尔多斯地区设立五个属国，即上郡、西河郡、五原郡、朔方郡、云中郡。公元10年王莽篡权后，为控制今鄂尔多斯地区，将朔方郡改为渠搜郡，五原郡改为获降郡， 云中郡改为受降郡，西河郡改为归新郡。鉴于国家财政困难，光武帝刘秀决定减少一些地方行政机构，于建武11年(公元35年)和建武20年(公元44年)先后撤销朔方郡、五原郡，将今鄂尔多斯地区归并州( 今太原市)领有。公元47年，匈奴萸踺日逐王比归附东汉， 比自立为呼和邪单于，据有今准格尔旗纳林一带。公元50年，东汉又将今鄂尔多斯地区分隶于朔方郡、五原郡、云中郡、河西郡、上郡。朔方郡辖有今鄂尔多斯杭锦旗南部、鄂托克前旗一带，下辖朔方县、广牧县、大成县；五原郡辖有达拉特旗和准格尔旗的北部一带，下辖河阴县、曼柏县；云中郡辖有今准格尔旗东北部地区；下辖沙南县；河西郡辖有今东胜市、伊金霍洛旗和准格尔旗西南部一带，下辖美稷县、平定县；上郡辖有今伊金霍洛旗南部和乌审旗一带，下辖榆林县、奢延县。
公元916年，辽在今准格尔旗、达拉持旗、东胜区、伊金霍洛旗 东部地区设振武军，废弃胜州；公元929年，在今达拉特旗、准格尔 旗北部置西南面招讨司(治天德军)，下辖富民县、振武县；在今达 拉持旗西南部、东胜区东部置河清军；在今准格尔旗南部及东胜市 东部一带设全肃州；在今达拉待旗、准格尔旗东部设东胜州，下辖榆林县、河滨县；在今达拉待旗、准格尔旗北部设云内州，下辖柔服县、宁人县。 五代十国时期，鄂尔多斯分别被党项羌人、灵武节度使(亦称朔方节度使或灵盐节度使)、振武节度使占领，并延续很长一段时间。 公元960年月北宋在今鄂尔多斯东部地区设麟州新秦郡，下辖新秦县；在今鄂尔多斯南部地区设夏州、宥州，在西南部设盐州。
元朝灭亡之前，鄂尔多斯地区被元朝太傅、中书左丞相、河南王扩部帖木尔所占有。至明朝初期，扩部帖木尔被赶出鄂尔多斯，鄂尔多斯属明王朝派员管辖。但不久，故元势力和蒙古各部相继进入鄂尔多斯地区。在一个多世纪里，明王朝多次派军进攻。但始终未能如愿。后明朗在鄂尔多斯南部修筑长城，加设边关，将鄂尔多斯让给了蒙古军，并将阿拉坦汗加封为顺义王，两家关系才得以缓合，公元1371年，明朝在今鄂尔多斯南部设察罕脑儿卫，在东胜北部设东胜卫。
清顺治六年(公元1649年)，清朝将蒙古族鄂尔多斯部落分为6个旗：鄂尔多斯左翼中旗(原郡王旗)，方位在河套内正中近东，扎萨克驻敖西喜峰；鄂尔多斯左翼前旗(现准格尔旗)，方位在河套内东南，扎萨克驻扎拉谷；鄂尔多斯左翼后旗(现达拉特旗)，方位在河套内东北，扎萨克驻巴尔哈逊湖；鄂尔多斯右翼中旗(现鄂托克旗)，方位在河套内正西近南，扎萨克驻锡拉布里多诺尔；鄂尔多斯右翼前旗(现乌审旗)，方位在河套内西南，扎萨克驻巴哈诺尔；鄂尔多斯右翼后旗(现杭锦旗)，方位在河套内西北，扎萨克驻鄂尔吉虎诺尔河；后增设鄂尔多斯右翼前未旗(原扎萨克旗)。方位在河套内中西部，扎萨克驻忽鸡图希里。光绪三十三年(公元1907年）清朝在鄂尔多斯左翼中旗东部被开垦的地区设东胜厅。
中华人民共和国建立后，鄂尔多斯于1950年普遍组建了行政政权，各旗县下辖区、乡、行政村(牧区称达尔古)、自然村(牧区称小 达尔古)。1953年7月，鄂尔多斯将基层政权的行政村人民政府改为乡人民政府。1956年，全市69个区撤销37个，新建26个苏木。1958年10月，将当时的50个乡、23个苏木、5个乡级镇改为人民公社，其时伊盟（今鄂尔多斯）共下辖7旗、l县、78个人民公社、444个生产大队(其中有100个牧业大队)、2173个生产队(其中有468个牧业生产队)。1984年，伊盟（今鄂尔多斯）将人民公社改为乡、苏木，大队改为村、嘎查。