邓小平复出之后，汪东兴实际上就失去了实权。叶剑英多次批评他：“汪东兴充什么大头，在小平同志眼里，根本没有他们的地位和说话的机会。和我们相比，他还是一个乳臭未干的三流政客，他能当什么党和国家的领导人，简直是开国际玩笑。就是再打一百次仗，也轮不上一个警卫员出身的人当什么大头呀。他连江青、张春桥和姚文元的本事都没有，我们根本就不和他一般见识。”
邓小平也对华国锋说：“你可是不能尽听汪东兴的话，他的思想僵化得很，在党中央的领导同志中威信不高。主席晚年虽然有错误，但是那些错误与他身边人员的素质不高有很大的关系，汪东兴就是其中一个。他在毛主席那里，只能是帮倒忙，而帮不了好忙。他动不动就打着毛主席的旗号进行活动，这是很令人讨厌的事情，现在要提防这个人来垄断毛主席的文件，不要让他干涉太多的东西。”
党的十一届三中全会后，汪东兴就走下坡路了。有一次政治局召开生活会，他指着刚发下来的【关于刘少奇的复查报告】发表了自己的意见：“我不同意这么匆匆忙忙就给刘少奇同志平反。可以不再批判，不再讲他过去有甚么问题，来个冷处理。现在这个材料把一切都推到江青等人身上，事情未必都如此。当初我就在中央项目组。有些揭发的核实明明就是我们一些很好的领导同志批准的嘛。事情都推到江青这些人身上，容易产生种种的误会，反而对我们现在的政策不利，将来出了问题谁来负责？”
“我！”邓小平站了起来：“汪东兴几乎每一次开会都要出来唱反调，已经充当了我们中心工作转移和平反冤假错案的拌脚石了。对任何问题都要说三道四，好像你汪东兴什么事情都知道似的。——当初你们批判所谓刘邓路线时，不是也把别人干的事情算到我们头上去了吗？这有甚么奇怪的？还要你汪东兴如此着急地说明！”
这时胡耀邦也开了腔：“大量的事实证明，汪东兴这两年来基本上还是停留在过去左的路线上踏步不前，经过了许多人的帮助甚至批评，仍然没有足够的认识。我觉得，他继续在副主席的位置上已经远远地不适应了。我建议在合适的时候是否调整一下他的职务。考虑到汪东兴在革命的关键时刻有过功劳，我希望他还是应该考虑一下自己的前途。最后自己采取一定的主动措施——”
这时，汪东兴马上意识到——与其让别人把自己赶出去，不如自己主动一些：“事情已经很清楚了，在即将辞职的时候，我有几句话想对大家讲一讲，保留一下我自己的意见。——我的覌点和思想与你们的许多意见格格不入，彼此很难统一。在这种情况下，为了党的事业和党的团结，我决定还是自己辞职比较好，这样对你们更好地执行你们的路线，也就排除了很大的障碍或阻力了。这未尝不是一件好的事情——”
邓小平跟华国锋等几个常委议论了一下，最后表了态：“汪东兴刚刚提出他的辞职意见，我们还需要研究。不过，我个人认为他的这个意见是好的。我们党内允许一个党员或官员保留自己的意见。——但是，我们党从来就有这么一个规矩，那就是少数服从多数，少数人的意见被否决以后，必须拥护多数人的意见。除了保留自己的意见外，不允许在行动上有任何反对的表示。但是，如果你自己认为干不下了，可以象汪东兴这样地提出辞职，这同样是党章党规所允许的。不过，这个问题需要在全会上决定。如果没有什么特殊的情况，我建议把汪东兴的这个意见拿到会议上去。”这时，吴德、陈赐联、纪登奎也提出类似的意见——
