不仅如此,代宗还尊李辅国为“尚父”,食邑八百户。然而,李辅国仍不满足,他比以前更加骄横跋扈,甚至公然对代宗说:“大家(唐时宦官称皇上为大家)只管坐在宫中,外边的事情尽听老奴处置好了。”气焰嚣张到了极点。代宗虽然不高兴,但惧于李辅国的权势,再加上自己刚刚继位,政局不稳,只得忍气吞声,任其摆布。
李辅国的专权,终于引起了一个人的不满,这个人就是李辅国的心腹程元振。程元振自认为对李辅国有功,不满于现有的地位,他的野心是取代李辅国,成为政治的核心人物。于是,程元振就在代宗面前历数李辅国的罪状,恳请代宗加以制裁。代宗本来就对李辅国不满,现在有程元振的支持,他就将计就计,利用程元振这个宦官来除掉李辅国这个宦官,达到一箭双雕的目的。
这一年六月,代宗和颜悦色地对李辅国说:“李公公,你是三朝老臣,为我大唐王朝立下了很大功劳。朕念你劳苦功高,年龄大了,该好生休息,军务太繁重,就交给程公公吧。你也应该回家享福了。这么多年来,真是辛苦你了。”
这样,李辅国稀里糊涂地被解除了元帅行军司马和兵部尚书的职务,由程元振担任,并且命令他搬出皇宫,居住到自己的府第去。
李辅国简直不敢相信自己的耳朵,他看着程元振,程元振赶忙把目光移开了。百姓闻听罢免了李辅国,人们奔走相告,长安城一片欢腾。李辅国这才感到了事态的严重,在举国上下的一片唾骂声中,他不得不上书请求辞职。代宗求之不得,趁机罢免了他的中书令之职,封他为博陆王,允许他进京朝拜。李辅国真是哑巴吃黄连,有苦难言。
李辅国被罢免了中书令,想最后一次到中书省写一封谢表。他刚步入中书省的门槛,值班的官员大声喝道:“您已被罢免宰相,不能再进入此门。”李辅国没办法,就气呼呼地跑到代宗面前,说:“我这个老奴侍候不了您这个小皇帝,我只好去侍候九泉之下的老皇帝了。”代宗知道他心中有怨言,只好下了一道诏书,对他进行安慰并准备送他出京。