李適之吃了啞巴虧，方知老狐狸險惡，從此逐漸被武宗疏遠。

不久，與李適之交好的隴右節度使皇甫惟明，刑部尚書韋堅，戶部尚書裴寬，京兆尹韓朝宗等人，先後遭到李林甫的中傷構陷，全部貶官流放。

李適之驚懼不安，便上疏請求改任散職。天寶五年，罷去相位，改授太子少保。此後，李適之欣然不已，自以為可以避免災禍。宴請親朋，於席間賦詩道：“避賢初罷相，樂聖且銜杯。”

李林甫怕他復出反擊，就在同年七月，上疏朝廷，彈劾李適之心懷不滿，與韋堅結為朋黨，勾結廢太子李渶。皇帝震怒。韋堅流放臨封，李適之貶為宜春太守。

李林甫忽夢見一個白皙多須，個子高大的男子，逼近自己，貼到身上，竟推不開。他驚醒後，對家人道：“這人的樣子很像裴寬，這是裴寬想取代我的緣故。”

當時，裴寬正任戶部尚書，兼御史大夫。李林甫藉口裴寬是李適之黨羽，將他貶斥出朝。而此時只是金吾胄曹參軍的楊國忠，在不到十年之內，竟於李林甫死後繼任宰相，他的樣子也很像裴寬。

，！

天寶六年，御史羅希奭奉李林甫之命，將韋堅、裴敦復、李邕等人，害死於貶所。各地官員聞聽羅希奭之名，無不恐惶驚駭。不久，羅希奭前往宜春郡。李適之感到大難臨頭，驚懼之下，服毒自盡。時年五十四歲，葬於河南溫泉裡。

李適之罷相後，楊國忠透過楊玉環等，聯合推薦楊慎矜。武宗看在眼裡裝糊塗，心裡跟明鏡兒似的。

武宗就問楊貴妃，“你們楊家人，還有誰德才兼備，可以提拔？”他想透過試探，搞清楚背後的密切程度。

楊貴妃自然支援提拔族親楊慎矜。翌日朝會，武宗打算提拔楊慎矜，問朝臣意見。大臣們有的反對，有的贊成，有的沉默。楊國忠在朝堂上強烈反對。這大大出乎武宗的意料。軒轅勃死死盯著楊國忠，想透過眼神，看到他內心的真實意圖。

楊國忠故作坦蕩，擺出決不能提拔的理由。“陛下，若是提拔楊慎矜，微臣難免落下口實。朝臣會有怨言，以為我楊國忠提拔親信，懷有私心。”

“朕聽說，古代忠臣舉賢不避親。像楊慎矜這樣善於理財的能臣幹吏，就應當提拔。”武宗拍板敲定，提拔隋公後人楊慎矜，並不僅僅因為他擅長理財。如若楊家果真有陰謀動作，希望暴風雨早點兒來。楊慎矜到死也想不明白，武宗提拔他的真正用意。

武宗禁不住楊貴妃的軟語硬泡，於天寶五年，令楊慎矜遷任戶部侍郎，所任御史中丞和其他使職如故。李林甫見楊慎矜深受皇帝恩寵，心中嫉妒，便提醒說楊門勢大，未必是社稷之福。

楊家長老眾多，楊慎矜三兄弟，個個都不是等閒之輩。如今寵幸楊貴妃，讓楊門得以勢力膨脹。武宗內心也擔心發生意外。他不想在李林甫面前，流露猜忌楊門的意思，以免和李家的信任破壞，進而影響到跟楊家的信任。

楊門的日益強勢，令李林甫十分不安。楊慎矜的理財能力，沒有誰會懷疑，但他一直不肯依附宰相李林甫。當日，侍御史王鉷審問韋堅的獄案，楊慎矜保持中立，觀察事態。王鉷因此怨恨他，李林甫也引為憾事。

楊國忠沒有喝過多少墨水，楊慎矜就不同，這個人滿腹經綸，而又不拘泥史書，是個王佐之才。又有楊國忠和楊貴妃背後支援。一旦得了氣候，必然會取代自己。

李林甫對權位日盛的楊慎矜，起了猜忌之心。每每下朝後，在月堂思謀對策。要想搞垮楊慎矜，必須找到他的缺點。這個人不貪汙不受賄，能力出眾，工作勤勉，從來沒有大的過錯。他沒有缺點和把柄。李林甫百思不得其計。

楊慎矜與王鉷的父親王瑨是表兄弟，王鉷是他的表侄，小的時候常在一起玩耍。王鉷入御