当初，五人借着武则天病重，辅助李显发动政变，夺回李家江山。政变成功后，李显便任张柬之、袁恕己二人为一级宰相，崔玄暐为内史，敬晖、桓彦范为纳言，一律封为公爵。那时虽然大局已定，但武家尚未铲除，洛州长史薛季昶曾对张柬之道：“斩草不除根，始终会复生。”

    张柬之答道：“武家只是砧板上的肉，他们有何能耐作反。”

    薛季昶摇头叹道：“既然你这样说，到那时候，我也不知会死在何处了！”

    同时县尉刘幽求也警告桓彦范和敬晖二人，道：“武三思仍留在朝中，恐怕到后来，咱们连葬身之地也没有，倒不如乘早下手，免得大祸临头，后悔已不及了。”

    武则天王朝已过，武三思能再得势，主要原因在一个女子身上。此女子便是上官婉儿，她是上官仪的孙女，上官仪在太宗时当任宰相，后被武则天诛杀，上官婉儿及其母郑氏，被没收到皇宫当婢女。上官婉儿渐渐长大，不但出落得天仙化人，小小年纪便已聪明过人，作诗写词，无一不精，且熟悉官场政治，可说是一代才女。

    那时武则天十分喜爱她，收在身边任用，各部门的奏章，多由上官婉儿先行批示，再行裁决。直至李显复位，也命她处理诏书，撰写皇家指令，甚为倚重，并封她为捷妤，成为李显的小老婆。

    自此上官婉儿便掌以大权，皆因李显年纪已老，且色欲过度，无法满足这个俏娇娘，她见武三思身躯壮硕，便与之通奸，不觉间也成为武家一员。她为讨好韦皇后，并把武三思推荐给她，武家在宫中的势力，又再度续渐膨胀。

    张柬之到这时候，方开始察觉武家的危险性，不断劝李显诛除武家，免得他们坐大难收，然李显依然毫不理睬。

    张柬之道：“武则天之时，李性皇族，几乎给屠杀罄尽。幸好天地神灵庇佑，皇上得以复位，但武氏家族那些浮滥官爵，依然原封不动，臣认为应当眨降其官阶俸禄，以慰天下人心。”但李显这个窝囊皇帝，只是不停摇头，就是不听。

    武家在朝上势力日增，张柬之等人恐防武三思暗里陷害，知道员外郎崔湜虽不是武家一派，却因公事常在武家走动，便以厚礼结纳，好作内应，望能探得武家举动。

    但没料到崔湜竟是一根墙头草，他见皇上对武三思异常信任，便知晓该站在何方，便把张柬之等人的密谋，掉过头来向武三思和盘托出，并说听候武三思差遣，武三思见他颇为忠心，便推荐他当中书令，自此成为武三思其中一个智囊。

    武三思和韦皇后得知张柬之的意途，便终日诬陷五人，武三思对李显道：“他们五人仗着自己功高权重，在朝中横行霸道，这样下去，终究对皇室构成威胁，皇上不可不防。”

    李显听得不住点头，武三思又道：“依我看，对他们最好是施以安抚策略，明是隆升，实是暗降。先把五人全封王爵，并免除他们宰相职务，这样处理，外表上是尊敬功臣，其实是剥夺他们的实权，免得他们危害朝廷。”李显点头认同。