却说韩瑗和来济早有想为褚遂良鸣冤的念头，如今见这武皇后仿佛只是一个寻常以爱情为生的女人。二人经一番谋划，终于于显庆元年十二月上奏道：“遂良乃社稷忠臣，被谗言所毁，昔微子去而殷过亡，张华存而纲纪不乱，陛下无故弃社稷旧臣，恐非国家之福啊！”
来济和韩瑗都是跟随唐太宗李世民一路走来的人，李世民胸怀广阔善于纳谏，才出了魏征那样的谏臣。他们没有想过，如今的皇上李治，只是一个自幼失去母亲，活在父亲光环下的一个想摆脱顾命大臣，紧握皇权的年轻君主。他们以为的直言纳谏，恰恰是戳了李治的痛处。
“放肆！”李治看了奏折怒道，他们是在嘲笑朕昏庸无能吗？朕只是贬了一个官，他们就拿国家存亡社稷纲常来威胁朕！
此时的武媚娘正抱着孩子陪在李治身旁，她关切的问道：“陛下，怎么了？”
李治道：“韩瑗这老头，为那褚遂良求情，居然还拿江山存亡来威胁朕。”
武媚娘捡起被皇上扔掉的奏折，她看了看，对李治道：“当初褚遂良在朝堂上那样顶撞陛下，陛下若饶了他，只怕此风渐长。”她知道这是皇上最不能容忍的，她恨褚遂良，那个为了反对自己当皇后，公然在朝堂上顶撞皇上的人。或者说，她恨所有那些曾经反对她当皇后的人，她要等待时机，一举除掉他们。
李治闻言，道：“媚娘说的对，既然这韩瑗为褚遂良求情，那么朕就把他贬到更远的地方去，看他还敢不敢来求情。”
武媚娘道：“眼下年关将至，陛下不如先将此事放下一放，来年再做打算。”武媚娘做梦都想将这帮老臣一网打尽，可是现在她需要时间，好好想想，如何将祸水引至韩瑗和来济身上，她需要等待机会。
显庆二年三月，皇上下诏，将褚遂良贬去更偏远的桂州（今广西桂林）任都督。
武媚娘终于想出了办法，趁着皇上余怒未消，眼下正是一个扳倒来济韩瑗的好机会，她将杜莲儿唤至跟前，如此这般的对她轻语。罢了，对她道：“一定要一字不漏的转达给许敬宗。”
这日上朝，许敬宗上书道：“前几日陛下将那褚遂良贬往桂州，臣深感不妥。”
李治坐于殿堂之上，问道：“有何不妥？”
许敬宗道：“桂州地处遥远，是个练兵的好地方。把褚遂良贬往桂州，看起来是慑于陛下天威，可实际这恰恰是中书令韩瑗的阴谋，这是明贬暗升。韩瑗利用职务之便，与褚遂良理应外合，倘若此事真成，大唐的江山社稷危矣！”
来济马上站出来反对道：“桂州与长安相去遥远，中书令若真有谋反之心，怎会出如此下策？况将褚大人贬为桂州的是陛下，而不是中书令韩大人呀！”
许敬宗道：“众所周知，来大人与韩大人素日交好，也未必没有朋党之嫌。说起朋党，来大人与荣州刺史柳奭也交好，臣猜测，若要谋反，柳奭也必将是他们的一份子。”
韩瑗厉声道：“许敬宗，你如此的蒙骗陛下，意欲何为？”
“放肆！”李治道，韩瑗的声音直震大殿，李治本不喜爱这帮老臣，因道：“朕自会查清楚此事，既是许爱卿所奏，便交给你审查。”他看着许敬宗道。
此时的长孙无忌站出来说道：“陛下，自陛下册立中宫皇后，许多事情老臣都由着陛下，只是来大人和韩大人乃先朝元老，绝不可能有谋反之心，爱州和临海人烟荒芜，来大人和韩大人年事已高，怕是经不起这番折腾啊！”
李治冷静地看着长孙无忌，冷冷道：“朕已经说了会仔细审查，国舅不必多言。”
审查结果当然是令武皇后满意的，显庆二年八月，李治下旨：韩瑗、来济、柳奭有谋反之嫌，念及昔日有功，将韩瑗贬为振州（今海南三亚）刺史，来济贬为台州（今浙江临海）刺史，柳奭贬为象州（今广西）刺史。
武皇后原本只想惩戒韩瑗与来济，许敬宗借着来济与柳奭交好的名头，将柳奭也牵扯了进来。武皇后当然满意，这个许敬宗，太能想她所想了。
褚遂良才刚刚在桂州安顿下来，又接到皇上将他贬去爱州的诏书，闻言韩瑗和来济都因他受到牵连，褚遂良再也忍受不了这连番打击。他老泪纵横，“陛下呀！您为何要这样对待老臣呀！先帝呀！”他捧着诏书痛哭。
此时他的夫人安慰他道：“大人，您辅助陛下多年，何不写一封陈情表求情呢。”
褚遂良仿佛看到了希望，“对，求情……”
褚遂良才华出众，他的楷书被公认为当代第一人。他连夜写下陈情表。
“往者承乾废，岑文本，刘洎奏东宫之位不可空缺，欲遣濮王居之。臣引以固争，明言仗入。先帝留无忌、玄龄、勣及臣定册立陛下。当受遗诏，独臣与无忌二人在。陛下方哀号恸，臣即奏请即位大行柩前。当时陛下手抱臣颈，臣及无忌请即还京，发哀大告，内外宁谧。臣力小任重，动贻伊戚，蝼小余齿，望陛下哀怜！”
这封陈情表，褚遂良自认写的情真意切，却不知他恰恰戳到了皇上的痛处。他不知道的是，正是因为他拥立陛下为太子有功，正是因为他是前朝顾命大臣，如今的李治才如此忌惮他。李治要的是皇权，而像他这样的老臣，只会阻碍他紧握皇权。
李治看了一眼陈情表，扔在一旁，再不提及。翌年，褚遂良在绝望中病逝于爱州，享年六十三岁。