张柬之等人虽被封王，但被夺去实权，对武三思形不成威胁了。但是，斩草须除根，武三思是不会放过他们的！再说，他们虽不得参与朝政，但他们还有著王的尊號，还能一月入宫朝拜两次，有机会和李显接近，能对李显进行劝諫或献策，谁也不敢保证李显会不会听从他们的话！

所以，武三思觉得他们留在京城，仍然是一种威胁，只有把他们先驱赶出京城，再设法收拾他们！武三思便上报朝廷，要將他们调离京城，改任地方官。这时是韦后当权，上官婉儿掌管草擬詔令，调令可以隨便下。而这俩个人，都是武三思的姘头，所以，他想怎么做，就怎么做！

当下李显詔令一下，张柬之调任为襄州刺史，敬暉为朗州刺史，桓彦范为亳州刺史，袁恕己为郢州刺史。

张柬之到了襄州之后，严肃法纪对待下属，即使是亲朋旧故也不放纵宽免。他遇到汉水暴涨侵及外城，便带著官兵壁垒筑堤，遏制急流怒涛，全境依赖它防洪。我们別忘了，这时的张柬之可是八十余岁的老者！可是，他为了救洪，还亲自带人筑堤！这么好的一名官员，武三思却不放过他，还要置他於死地！

武三思等把他们调离京城后，让他们没有机会找皇帝申诉了，便指使郑愔诬陷张柬之等人与王同皎同谋，说他们想要废掉韦后！李显见了郑愔的上书，顿时大怒，又將他们五人再次贬謫。

张柬之被贬为新州司马，敬暉为崖州司马，桓彦范为瀋州司马，袁恕己为竇州司马。他们都是贬在当时最为偏僻、最为荒凉的所谓远恶之地。武三思决定要把张柬之整死为止，於是，想出了一个激怒李显的法子，那就是暗中指使人书写韦后的污秽行为，请予废黜皇后的封號的传单，然后，张贴在洛阳的天津桥。武三思又让人將这种情况报告李显。李显听了，极为愤怒，命令御史大夫李承嘉穷究其事。李承嘉秉承武三思的意旨，捏造案情，诬为张柬之、敬暉、桓彦范、袁恕己五人对贬謫不满，暗中指使人所为，並报请李显:“他们表面上是请求废黜皇后，实则是想阴谋篡逆，应该对他们四人全部诛杀！”大理丞丰朝隱表示反对，奏称“对张柬之等人不经审问，就急忙诛杀，不合法律手续。”大理丞裴谈为討好韦后及武三思，为之出谋，奏称:“对张柬之他们应该根据皇帝的詔令判处斩刑，诛杀全族，没收家產，则可以不必经过审问，也是合於法律手续的。”

后来李显考虑到曾向张柬之等颁发有不处死的丹书铁卷，当下不同意处死，改为流放。可怜张柬之八十余岁的高龄，被流放到瀧州，敬暉被流放到琼州，桓彦范被流放到瀼州，袁恕己被流放到环州。

四家子弟十六岁以上的，都流放到五岭以南。裴谈因討好献媚，由大理承提升为刑部尚书，李朝隱因秉公持正则由大理丞贬为闻喜县令。邪僻者升官，正直者遭贬！朝廷，已然成了小人掌权的朝廷！

崔湜又向武三思提出建议:“张柬之等若有朝一日被召回洛阳，必为后患，不如派遣使者，假传圣旨，將四人杀掉！”

这种假传圣旨的行为，被发现就是个死！可是，色胆包天之后的武三思，变得胆大包天，当下高兴地说:“正合我的心意！但不知派哪一个去最为妥当?”崔湜便推荐他的表兄大理正周利贞。

武三思与韦后商议后，决定由上官婉儿草擬一道詔书，命令周利贞以代理右台御史的身分，带著上官婉儿发出的假圣旨前往岭南，去杀害张柬之等五人。周利贞到达岭南，张柬之年老体衰，恚恨成疾，已死於新州贬所。

他算是万幸，未遭受到周利贞的残酷折磨。桓彦范可没他这么幸运，他正被押往瀼州流放的途中。周利贞在贵州遇到桓彦范，隨即令人將桓彦范用绳索捆绑，在砍伐的竹桩上拖著走，肉被竹桩刮去，露出骨头。周利贞这变態，折磨桓彦范折磨得心满意足了，这才用棍棒將他打死，手段残忍至极！敬暉被刀剔而死，残忍更胜一步；至於袁恕己，被强灌野葛藤汁，腹內痛苦难受，倒在地下，以手抓土，指甲磨尽，鲜血淋漓，而后用竹板打死，残忍又胜一步！

武三思，狠毒的人，终究遭到悲惨的结局！周利贞因残杀有功，回到京城，即升为御史中丞，血染珠顶红！武三思残害张柬之等人之后，权威日盛，將过去张柬之等人所斥退的小人全都恢復了原有职务。

他常对人说:“我不知道人间哪一种人是善人，哪一种人是恶人，我只知道对我好的就是善人，对我不好的就是恶人！“这简直就是混帐话！一个人，最正確的看人，不是看他对你有多好，而是看他对弱小之人有多好！因为，人为了目的，可以对你好得比老妈还亲的！然而，一旦目的达到之后，他也可能对你比仇人还狠！而对弱小者有同情心的人，永远都不会有狠毒之心！

武三思抱著对他好的人就是好人的宗旨，把凡是反对他们的就加罪杀掉或排斥，討好他的就高官厚禄！一时间，朝廷成了武三思的朝廷，所用之人，阿諛奉承，无所不用其极！处士韦月將上书朝廷，指出武三思父子权力过大，必为叛逆！武三思得知后，立即指使有关部门將韦月將处斩！

时任黄门侍郎的宋璟在李显面前力爭，认为韦月將未犯死罪，不应处死。大理卿尹思贞认为时令为夏天，不是处死刑的时候。武三思於是变换手法，將韦月將流放岭南，到秋天行刑的时候，令广州都督周仁轨將韦月將杀害！同时，武三思上奏朝廷，將宋璟由京官调为并州长史。

当时侍御史周利贞、冉祖雍、太僕丞李悛(诗人宋之问的外甥)、光禄丞宋之逊(宋之问的弟弟)、监察御史姚绍之五人为武三思的耳目，被人呼为“三思五狗“。武三思又与兵部尚书宗楚客、將作大匠宗晋卿、太府卿纪处訥、鸿臚卿甘元柬等人互相勾结，操纵朝政。对武氏的祖先，按帝王祖先的礼仪进行祭祀，对武氏祖先的坟墓，按帝王陵墓一样，派官员管理，阴怀篡逆。当时人將武三思比为曹操和司马懿。

武三思，他下一步的计划是让韦后夺权，然后逼死太子李重俊，立自己的儿媳安乐公主为皇太女！再之后，把权力牢牢掌握手里，时机一到，立即篡位！