但是不能因為是瘋子的話，嶽鍾琪就可以坐視不管。他急忙寫好奏疏，希望澄清視聽，洗刷冤曲。這封奏疏被雍正帝的硃批寫得密密麻麻。言下之意不外乎是不相信謠言，並說了許多安撫的話。那瘋子也被朝廷以“造謠惑眾，誣陷大臣罪”斬首示眾。嶽鍾琪心裡的一塊石頭才算落了地。

雍正六年，靖州秀才曾靜，派門人張熙致信嶽鍾琪，曾靜的書信中對雍正帝極盡責罵之詞；又以岳飛抗金的事蹟激勵為作為岳飛後裔的嶽鍾琪，勸他掉轉槍頭指向金人的後裔滿洲人，為宋、明二朝復仇。嶽鍾琪假裝同意，騙出口供，反過來抓捕二人，引發呂留良案。事後雍正帝褒獎嶽鍾琪忠心，並由于軍事需要，仍舊對他委以重任，加封寧遠大將軍，少保，但是，在嶽鍾琪的仕途已經埋下了禍根。

雍正十年；嶽鍾琪接連受雍正帝的嚴責，顯然已經失寵。軍機大臣、內閣大學士鄂爾泰乘機奏本，極力彈劾嶽鍾琪。

雍正批准了鄂爾泰的彈劾，下諭交部議決。

結果削去了嶽鍾琪三等公爵和太子太保封銜，降為三等侯，仍護大將軍印。時隔不久，雍正帝又下旨詔嶽鍾琪離疆返京商辦軍務，由副將軍張廣泗護寧遠大將軍印。

雍正十二年十月兵部的判決才下來，判決居然是“斬決”。雍正帝左右權衡，最後，念及其當年進西藏、平青海之功，改“斬決”為“斬監侯”，並處罰銀七十萬兩。

乾隆二年，嶽鍾琪和傅爾丹同被釋放，貶為庶人，回成都老家。

平日裡，他一身布衣木履，粗茶淡飯；茶餘飯後，喂一餵雞鴨家禽，或者走出姜園，漫步於鄉間田埂，或聚集老農於樹下閒話桑麻。晚來掌燈，他這才伏於几案，或揮毫吟寫田園詩；或秉燭夜讀《楞嚴佛經》。嶽鍾琪對佛家教義也漸漸青睞，常常入寺拜佛聽法。一天嶽鍾琪回到金堂縣老家，在城南十五里的龍尾寺拜佛，盤桓晚了，便留宿寺中，於是寫下了《夜宿龍尾寺》　。

乾隆十五年，西藏珠爾墨特為亂，時年64歲的嶽鍾琪，奉命再出康定，會同總督策楞，捕獲卓呢羅布藏紥什等，叛亂平息。

乾隆十八年，嶽鍾琪的長子嶽濬病逝，嶽鍾琪心如刀絞，痛不欲生。自己年歲已高，癆肺病也日重一日。

乾隆十九年，嶽鍾琪病勢稍有見好，忽有軍情來報，說重慶人陳昆，組織邪教，蠱惑人心，聚眾反清，其勢甚大，當地官府已無法彈壓，請派大軍征剿。

嶽鍾琪不敢貽慢，掙扎著從床上爬起來，披甲冑，跨戰馬，率領大軍趕赴重慶，清剿邪教陳昆。在他的指揮下，清軍在大巴山與邪教武裝展開了激戰。邪教武裝畢竟是一幫烏合之眾，很快便被剿滅四散。這時，嶽鍾琪的癆肺病進一步加重，在返回成都途經資州時病情惡化，溘然長逝，享年六十八歲，乾隆帝賜諡“襄勤”。

以上基本屬實；嶽鍾琪的祖上是岳飛；岳飛抗金；金人是滿清的老祖宗；所以無論嶽鍾琪如何戰功赫赫；雍正對他既重用又猜忌；許多的滿清貴族對他也沒有什麼好感；除此之外；便是漢族人；對嶽鍾琪也是頗有微詞；嶽鍾琪無論在當時還是後來所處的位置；都是十分尷尬的。

太后要求乾隆嚴懲嶽鍾琪，；乾隆無奈；只得撤去嶽鍾琪大將軍一職；交由法司治罪；而其大將軍一職交給副將暫代；因為副將統領無方；紅花會不但未能剿滅；卻是越剿越多；乾隆一怒之下；斬殺數名將官；又得知是福倫把嶽鍾琪的摺子交給了皇太后；於是把福倫叫到御書房裡訓斥一頓之後；不再召見。

福倫失寵之後；忐忑不安；每天回家之後；長吁短嘆；不提。

話說這一天夜裡；福倫一個人又在後花園裡喝悶酒；已有幾分醉意；忽然福晉來到；勸道：老爺又在喝悶酒了這樣會傷身體的。

福倫苦笑道：喝醉了；