x 贞观三年（629年）正月李世民突然颁下一纸诏书罢免了裴寂的司空之职削掉了他的一半食邑并且将他驱逐出京遣返原籍。当然李世民要清除裴寂这种功高望重的元勋老臣总是要找一个理由的。
武德年间和尚法雅得宠于李渊因而能够自由出入宫禁。可到了贞观初年法雅的这项特权被取消了于是心怀怨恨散布了一些蛊惑人心、影响社会稳定的“妖言”随即被朝廷逮捕。兵部尚书杜如晦亲自审理此案。
据法雅供认裴寂曾经听他说起过那些“妖言”可裴寂却没有及时上报。也就是说裴寂犯了知情不报之罪。裴寂当然矢口否认但法雅却死死咬住他不放令他百口莫辩。最后杜如晦从容结案裴寂罪责难逃。
裴寂比任何人都清楚真正找他麻烦的人不是什么和尚法雅也不是什么兵部尚书杜如晦而是大唐最有权力的人——皇帝李世民。
崇文殿裴寂免冠跪在李世民面前。李世民看着裴寂不怒自威“你身为左仆射朝廷重臣却知情不报……”
“陛下……”
“除了免除你的官职没有别的办法你回你的蒲州老家吧”
“陛下能否许臣住在京师？”
李世民讥讽地说道：“要论你的功勋岂能擢升到如此高位？你不过是蒙受太上皇的恩泽侥幸在群臣中位居第一而已。武德年间贿赂公行朝纲紊乱问题都出在你的身上。只因念在你是故旧不忍心依法处置你能活着回到家乡已经是万幸了！”
裴寂闭上眼睛自语：“太上皇……”
李世民都把话说到这分上了他还能怎么办？在返回蒲州的路上裴寂想起了当年的刘文静——同样是首义功臣、开国元勋偏落了个身败名裂、家破人亡的下场；倘若今天的李世民以其人之道还治其人之身那裴寂很可能会死得比刘文静更难看。所以没有步刘文静之后尘得以全身而退保一个善终裴寂实在是要谢天谢地了。