官僚機構(gòu)龐大臃腫、人浮于事，是封建社會嚴重的弊端。這種狀況，一來使得行政機構(gòu)重疊，官員職責不清，互相推倭扯皮，辦事效率很低，二來眾多官員的俸祿，成為封建國家一項數(shù)目很大的財政支出，加重了人民的經(jīng)濟負擔。所以我國歷史上比較有作為的皇帝，一般都重視精簡官僚機構(gòu)；而在他們當中，唐太宗李世民則是最突出的。

李世民即位之初，就決心革除當時冗官過多的弊病，精簡國家機構(gòu)和政府官員。他認為，治理國家的根本，在于選擇官吏；而選擇官吏，要注重質(zhì)量。他強調(diào)“官在得人，不在員多”，并比喻道：“千羊之皮，不如一狐之腋?！绷χ鞑脺p官員，量才授職。貞觀初年，唐太宗命宰相房玄齡精簡中央機構(gòu)，文武官員由二千多人減至六百四十三人。同時針對因州縣設置劇增而造成的百姓少、官吏多的狀況，對地方行政機構(gòu)“大加并?。ú脺p）”，裁并了許多州縣。后來又依山河形勢，把全國劃分為十道，共設三百余州，一千五百余縣。

為了長期貫徹精簡官僚機構(gòu)的方針，唐太宗將簡政省官作為一項制度固定下來。例如，貞觀初年“省內(nèi)外官，定制為七百三十員”。在唐律中對亂置機構(gòu)、私設官員的人，規(guī)定了明確的懲罰條款。唐太宗又規(guī)定主管行政事務的官員，年齡到了七十必須離職讓位，以提高辦事效率，加強各級行政機構(gòu)的職能。對精簡后繼續(xù)任職的官員，唐太宗還通過各種形式，擇優(yōu)汰劣，力求為官者人人稱職。他制定了專門的考核制度，每年都對各級各類官員進行考核，以此決定升遷降免。唐太宗還親自過問地方刺史的選用，并把全國各州刺史的姓名都寫在屏風上，隨時記下他們的善惡事跡，以備賞罰。643年（貞觀八年）又派得力大臣李靖等十三人為黜陟（zhi質(zhì)，提升）大使，到全國各地巡查，升遷廉潔有功的官員，懲處貧劣失職的惡吏。

唐太宗李世民采取一系列措施簡政省官，精簡了機構(gòu)，整飭了吏治，大大提高了國家各級機構(gòu)的效能。同時減少了國家對冗官余吏不必要的開支，相應地減輕了人民負擔。這樣,就為唐朝初期出現(xiàn)“貞觀之治”的繁榮盛世，打下了重要基礎。