山西是中华民族的发祥地之一，历史悠久，人文荟萃，拥有丰厚的历史文化遗产。迄今为止有文字记载的历史达三千年之久，素有“中国古代文化博物馆”之美称。下川遗址、西侯度文化和丁村文化遗址表明，早在旧石器时代就已有了人类在这里繁衍生息。传说中的中华民族的始祖黄帝、炎帝都曾把山西作为活动的主要地区。中国史前三大伟人尧、舜、禹，都曾在山西境内建都立业。

山西古代又称并州古属冀州之域，虞舜以冀州南北太远，分置并州。应邵曰：“地在两谷之间，故曰并州。”夏仍为冀州地，周曰并州。《周礼·职方》：“正北曰并州，其山镇曰恒山，薮曰昭余祁，川曰滹沱、呕夷；浸曰涞、易。”据《舆地广记》载，周并州包括今山西全境和河北、内蒙部分地区。

中国历史上第一个奴隶制国家政权夏朝也建立在山西南部。商代，山西是商的主要统治区。周代，晋国由山西境内崛兴，晋文公曾为春秋五霸之一。

山西在春秋时为晋国，故后世简称山西为晋。按，晋，西周侯国，姬姓。周成王封其弟叔虞于唐，传子燮父，因地邻晋水，改国名为晋。晋极盛时，疆域有今山西大部地区、河北西南部、河南北部和陕西的一角。春秋后期六卿逐渐强大，国力日渐削弱，至公元前376年为韩、赵、魏三家所瓜分。

战国时称瓜分晋国的韩、赵、魏为三晋。《商君书·徕民》：“秦之所与邻者，三晋也。”《战国策·赵策》：“三晋合而秦弱，三晋离而秦强。”后世以三晋之地大部在山西，故别称山西为三晋。

秦、汉、魏、晋时期，山西无论在政治、军事、经济、文化等各个方面，都起着举足轻重的作用。

秦置太原、上党、河东、雁门、代等郡。汉汉武帝元封中年置并州，统领太原、上党、雁门、定襄、西河、云中六郡；其时，河东郡属司隶，代郡属幽州。东汉时，并州始治晋阳，建安十八年(213)并州并入冀州。

三国魏黄初元年(220)复置并州，晋因之，永嘉后陷。

东晋太元中年(383)，西燕慕容永称帝，分置建兴郡（今晋城全境），隶司州。建兴是南北冲要，地势险要，尔朱荣曾以司马子如为建兴太守，令其以三千骑兵镇守建兴。

北魏皇始元年(396)仍属并州。天兴元年(398)迁都平城,置司州，另置秦、东雍、朔、肆、汾五州。太和十八年(494)迁都洛阳后，改司州为恒州，另置建、朔、晋、显、蔚五州。

南北朝时期，山西是北朝统治的中心地带，而且北魏曾以平城（今大同）为都，之后的东魏、北齐也曾以晋阳（今太原）为“陪都”，以河东（今运城）、建兴（今晋城）为屏障，这对促进山西的发展起了积极的作用。

隋炀帝以李渊为山西河东道慰抚大使，山西之名始于此。

唐太宗李世民起兵太原，建立了大唐王朝，由此，山西被唐太宗认为是“龙兴”之地，一直把山西作为唐帝国的腹脏地区，封太原为唐王朝的“北都”、“北京”。有唐一代，山西一直以其特殊的地位和发达的经济、文化称著于世。

到五代十国，山西仍然对中国北方的政治、军事形势，起着决定性的作用。五代周广顺元年(951)，刘崇据太原，是为北汉。辖并、汾、辽、沁、石、忻、代、岚、宪、隆等州。郭威据开封，是为后周。辖泽、潞等州。

宋太平兴国四年(979)灭北汉，改置河东路。辽重熙十三年(1044)晋北分置西京道。

宋辽时期，山西进一步繁荣，是中国北方经济、文化的主要发达地区，泽、潞的铁煤、丝绸、硫磺，河东的盐名扬天下。

金为河东、西京两路，天会六年(1128)又分河东路为河东南路、河东北路。

元代，全国共11个行省，山西与山东、河北，并称为元朝“腹地”，大同、平阳（今临汾）、太原三城则成为黄河流域的著名都会。当时山西商业的发达、经济的繁荣、文化的昌明，曾受到当时来中国旅行的意大利伟大旅行家马可·波罗的盛赞。

明洪武元年(1368)置山西行中书省，九年(1376)改为山西等处承宣布政使司，辖太原、大同、平阳、泽州、潞安、汾州六府，辽、沁二直隶州。其时，山西等处按察司分设冀宁、冀南、冀北、河东四道，兼察诸府、州，是为省设道之始。

明代，山西的商业迅猛发展，曾领全国之先。特别是晋商十分活跃，威震海内外，其足迹东出日本，北抵沙俄，开辟了著名的万里茶路、草原丝绸之路，最著名的是山西票号，可谓中国金融之鼻祖。

明代沈思孝在《晋录》里的描述最为出名，广为研究者所征引：“平阳、泽、潞，豪商大贾甲天下，非数十万不称富。”有人以太行山之左右，称山西为山右、山东为山左。谢肇淛《五杂俎》卷四称：“富室之称雄者，江南则推新安(即今安徽)，江北则推山右”； “山右或盐、或丝、或转贩、或窖粟，其富甚于新安”，即是。

清为山西省，领太原、平阳、蒲州、潞安、汾州、泽州、大同、宁武、朔平九府，平定、忻、代、保德、霍、解、绛、隰、沁、辽十州，归化城、宁远 托克托、清水河、萨拉齐、和林格尔六厅，以冀宁道、雁平道、河东道、归绥道兼察之。

清代，晋商足迹进一步遍布天下，形成乔、常、曹、侯、渠、亢、范、孔等晋商八大家，此外还建有许多商业会馆，如山西会馆、山陕会馆、潞泽会馆等。