1976年10月，四人帮被粉碎了，但华国锋继续推行左的路线，提出了两个凡是。毛主席余威尚在，农业学大寨运动也因此仍在原有轨道上运行，并且在某种程度上有所强化，陈永贵继续得到重用。
1977年，中共召开十一大，陈永贵继续当选为中央委员、政治局委员、国务院副总理，仍主管农业工作。在这段时间里，他继续用过去的思维和口号，推动全国农业学大寨、普及大寨县工作。他的这一工作思想得到了华国锋的支持。 1978年5月，全国开展了关于真理标准的大讨论，其中也包括农业学大寨、普及大寨县的问题。各种意见反映到中央后，当时已进入中央主持工作的邓小平对此表态，称中央对在农业学大寨、普及大寨县的争论，暂不发文件，不下結论，而是由山西省委按照真理标准去实事求是地总结农业学大寨、普及大寨县的经验和教训。
1980年上半年，山西省委对农业学大寨、普及大寨县的工作进行总结，写出了【关于全省农业学大寨经验教训的初步总结】，指出：大寨左的路线“需要体现它的典型。大寨由于其代表人物的关系，也就很自然地走向反面，成为农业战线推行左倾路线的典型，文化大革命以来，在大寨和昔阳县推行左倾路线，主要由陈永贵负责。”
1980年2月23日，十一届五中全会召开，会议决定批准汪东兴、纪登奎、吴德、陈赐联的辞职请求，免除或提请免除他们所担负的党和国家的领导职务。这些人与陈永贵的关系很不错，尤其是纪登奎和陈赐联，与陈永贵过从甚密。
有一天，陈永贵忽然对来京看他的长子陈明珠谈起自己的去留问题：“不能干哩！他们都下去了，就我一个人还干甚哩？人家不免咱，咱也别等人家免，咱自己写个申请吧！”明珠表示反对：“爹，人家不免你，你自己写啥申请哩？一写人家不正高兴？不写，看他们拿你怎么办？”陈永贵摇摇头：“唉，干不了啦。你来写，我说。”陈永贵自己没有动笔写辞职申请的能力，就叫明珠执笔，他靠在沙发上，一条一条地口授：“就写身体不好，没文化，不适应工作哩！”想了一会儿，就再也没想出什么来：“就这吧！”
陈明珠就按这个意思短短地写了份辞职申请书，完了给他念了一遍。陈永贵听了点了点头：“干不了啦，还不如回家种地哩！回家劳动也比这强哩！”
1980年8月30日，五届人大三次会议接受陈永贵要求解除他副总理职务的请求。在这次会议上，华国锋也辞去了国务院总理的职务，由赵紫阳接任。
陈永贵一下台便尝到了下台的苦味。1980年9月，由人民日报、光明日报、新华社和中央人民广播电台的一些记者联合组成调查组开赴山西，在大寨和昔阳等地采访40天，写出了两组内参。第一组专攻10多年来无人敢摸的大寨。第二组专攻昔阳和陈永贵提拔起来的昔阳干部。
接着，反映大寨和昔阳问题的内参铺天盖地而来。陈永贵整天愁眉苦脸，睡不着吃不下。好端端的昔阳和大寨，怎么说倒就倒下来了？他想不通。在他失去副总理的第二个月，山西省召开五届人大三次会议和省政协四届十二次常委会，山西省内长期受陈永贵一派压制的人这回抬起头，他们对陈永贵群起而攻之，揭发了一大堆问题，要求罢免他全国人大代表资格，追查他和四人帮的关系，追究他在一些事情上的法律责任。陈永贵听到后长叹短叹：“唉，老虎吃人有躲处，人吃人可没躲处哩！”
追究陈永贵与四人帮的关系的呼声越来越高，陈永贵又气又怕，就去找邓小平，邓小平表了态：“你不是四人帮的人。”邓小平说了话，下边的呼声才慢慢地平息下来。
陈永贵辞去职务后，中央并没有取消他的中央委员，他仍保留副总理的生活待遇，对他本人仍然做为劳动模范来尊重。1982年，在党的十二大上，陈永贵没有再当选为中央委员，但他仍住在北京部长楼里，生活待遇和从前一样。从1983年起，中央安排他做一点工作，让他担任北京东郊农场顾问。
1986年3月26日，73岁的陈永贵离开了人世，結束了他颇具“戏剧性”的“奇迹”人生。【全文完】
