起初，李林甫認(rèn)為楊國(guó)忠沒(méi)什么真才實(shí)學(xué)，只有楊貴妃同族的身份，所以才向玄宗推薦并重用了他。楊國(guó)忠與王鉷同為御史中丞，后來(lái)王鉷靠李林甫的推薦擔(dān)任了御史大夫，所以引起了楊國(guó)忠的不滿。于是楊國(guó)忠借邢縡的案子，唆使案犯說(shuō)李林甫和王鉷兄弟有私交以及阿布思叛逃的事情和李林甫有關(guān)，另一名宰相陳希烈和哥舒翰也證明確有其事，唐玄宗因此疏遠(yuǎn)李林甫。楊國(guó)忠由此威震天下，有了和李林甫抗衡的實(shí)力。

此始南詔叛亂，多次入侵唐朝的邊疆地區(qū)，蜀人請(qǐng)求朝廷派楊國(guó)忠前往劍南鎮(zhèn)征討。左仆射兼右相李林甫在旁鼓動(dòng)玄宗皇帝，請(qǐng)他派楊國(guó)忠前往蜀地。楊國(guó)忠臨行前哭著和玄宗辭別，并說(shuō)此行一定會(huì)被李林甫害死，楊貴妃也為他求情。玄宗皇帝對(duì)楊國(guó)忠說(shuō)：“你暫且先到蜀中處理一下軍政大事，我在京等你回來(lái)，回來(lái)后就任命你為宰相。（卿暫到蜀區(qū)處軍事，朕屈指待卿，還當(dāng)入相。）”

這時(shí)，李林甫已重病在身，他心中憂傷煩悶，不知道怎么辦才好。巫人告訴他說(shuō)，只要能看見(jiàn)皇上，病情就會(huì)好轉(zhuǎn)。玄宗這時(shí)也想去看望李林甫，身邊的人一直勸阻。于是玄宗就命李林甫從屋里出來(lái)到庭院中，玄宗登上降圣閣遠(yuǎn)遠(yuǎn)地看他，揮起紅色的圍巾向他招手。李林甫這時(shí)已病得不能下拜，他就讓人代他向玄宗下拜回禮。

這邊楊國(guó)忠剛到蜀中，玄宗就派宦官把他給召了回來(lái)。楊國(guó)忠到昭應(yīng)縣去見(jiàn)李林甫，拜倒在他的床下。李林甫流著眼淚對(duì)楊國(guó)忠說(shuō)：“我快死了，我死后您必定要當(dāng)宰相，以后的事就拜托您了。（林甫死矣，公必為相，以后事累公！）”十一月丁卯（二十四日），一代奸相李林甫死了。

玄宗皇帝晚年自認(rèn)為天下已經(jīng)太平，沒(méi)有什么值得煩惱的事了。于是他就長(zhǎng)年居于深宮之中，沉湎于聲色犬馬，一心尋歡作樂(lè)，把國(guó)家大事都交給李林甫處理。李林甫巴結(jié)討好玄宗左右的人，故意迎合玄宗的心意，以鞏固自己的地位；同時(shí)堵塞向玄宗進(jìn)諫的門路，蒙蔽玄宗，以施展自己的奸滑的權(quán)術(shù)；他還嫉妒賢能，排斥壓抑才能勝過(guò)自己的人，以保持自己的地位。在李林甫當(dāng)權(quán)之時(shí)，他多次制造冤假錯(cuò)案，殺戮、驅(qū)逐朝中大臣，以維護(hù)大自己的權(quán)勢(shì)。皇太子以下的官吏都畏之如虎。李林甫當(dāng)宰相前后共十九年，造成了天下大亂的局勢(shì)，而玄宗卻一直沒(méi)有認(rèn)識(shí)到。

其實(shí)說(shuō)李林甫造成了玄宗后期的大亂并不合理，真正應(yīng)為天寶年間唐朝衰落負(fù)責(zé)的應(yīng)該是玄宗皇帝自己。在唐代，皇權(quán)在和相權(quán)的斗爭(zhēng)中已經(jīng)取得了很大的勝利，具有更大的權(quán)威，宰相并不能決定天下大事的走向。