臨泉縣以縣北之臨泉水故名。又據(jù)光緒《山西通志》，臨縣以縣城東臨湫水（又名臨川河）為名。  

秦莊襄王二年（前248年），屬太原郡。[1]

漢武帝元朔四年（前125年），置臨水縣，屬西河郡。

王莽時(shí)期，臨水縣曾改監(jiān)水縣。

東漢，復(fù)名臨水縣。  

東漢永和五年（公元140年）臨水縣并入離石縣，仍屬西河郡。東漢末，西河郡并入太原郡。  

三國(guó)初，仍屬太原郡。

魏黃初二年（221年），設(shè)置西河郡，仍屬西河郡。

兩晉時(shí)轄于離石，為匈奴占領(lǐng)。  

十六國(guó)時(shí)期，屬離石鎮(zhèn)。

南北朝時(shí)期，北周時(shí)置烏突郡、烏突縣。  

隋開(kāi)皇元年（581年），廢郡，改烏突為太和。

大業(yè)三年（607年），改州為郡。臨縣屬離石郡。

唐武德三年（620年），改太和縣為臨泉縣，屬石州。  

宋仍稱臨泉縣、定胡縣，隸屬石州，屬河?xùn)|路。

元符二年（1099年），改屬晉寧軍。

金天會(huì)元年（1123年），復(fù)名為臨水縣，廢晉寧軍，屬石州。

蒙古中統(tǒng)二年（1261年），改臨水為臨泉，屬太原郡。  

蒙古中統(tǒng)三年（1262年），臨泉縣升為臨州。  

明洪武二年（1369年），臨州降為縣，屬太原府。臨縣之稱由此而定，至今未變。

萬(wàn)歷二十三年（1595），臨縣改屬汾州府。  

清因明制，縣屬汾州府，冀寧道。

民國(guó)廢除府州，縣直屬山西省轄，境內(nèi)實(shí)行區(qū)所制，劃為東、南、西、北、中5個(gè)區(qū)。

民國(guó)二十九年（1940年），臨縣解放，成立共產(chǎn)黨領(lǐng)導(dǎo)的抗日民主政府，臨縣劃為10個(gè)區(qū)。同年10月，為抗日戰(zhàn)爭(zhēng)所需，將臨縣分為臨縣、臨南兩個(gè)縣，臨縣設(shè)7個(gè)區(qū)，臨南設(shè)5個(gè)區(qū)。  

民國(guó)三十五年（1946年），臨縣，臨南合并，仍稱臨縣。

1949年新中國(guó)成立后，屬興縣專署管轄。  

1952年劃歸榆次專署（后改晉中專署）。

1971年組建呂梁地區(qū)，劃歸呂梁地區(qū)。

1984年4—7月，改鄉(xiāng)（鎮(zhèn)）村制。臨縣設(shè)10個(gè)鎮(zhèn)，28個(gè)鄉(xiāng)。  

2002年撤鄉(xiāng)并鎮(zhèn)，全縣設(shè)13個(gè)鎮(zhèn)，10個(gè)鄉(xiāng)。

2004年7月，呂梁撤地設(shè)市，仍由呂梁市管轄至今。

2020年2月27日，經(jīng)山西省政府研究同意，臨縣退出貧困縣。[2]