后来，甚至允许邓的孩子们和其他家人也搬过来住。对于邓的大儿子邓朴方来说，这相当重要。他是北京大学物理系的一名学生，在“文化大革命”期间，由于他的父亲是“走资派”而被开除党籍，而且被红卫兵从楼上扔了下来，据其他说法是被推下了一段楼梯。结果他瘫痪了，只能坐在轮椅上。在一个福利中心住了一段时间后，1972年被允许和他的妹妹邓榕一起上北京接受专门的治疗，然而，补救已经为时太晚了。当邓于1973年准备回北京的时候，他全家十口人在江西得以团聚。
1972年初，毛泽东参加了刚刚去世的陈毅的追悼会。陈是解放战争中邓的亲密战友，也是前任军队领导和外交部长。他们在淮海战役还有其他战役中都曾并肩作战。毛先对陈夫人称赞了陈毅一番，然后就谈到邓的案子属于“人民内部矛盾”，因此是能够和平解决的。周恩来当时也在场，于是他促使人们把这个消息传出来，据说当时曾把这件事作为使邓尽快恢复职务的一部分疏通活动而广泛宣传。
到1969年初的时候，也就是中共四月份召开第九次代表大会的前夕，终于恢复了秩序，但这是一种全新的政治秩序。特别是到了1969年，内政被人民解放军的军官们牢牢地控制着。当然，共产党和解放军之间的关系由于1949年前共产主义路线占上风而一直很密切。这样，在1949年到“文化大革命”之间以及“文化大革命”后一直到大约1985年期间，担任中共中央领导职务的大部分人——甚至都是建立共和国的那一些革命家——除了他们的中国共产党的经历之外，还都有一定的军队背景。然而，“文化大革命”期间积极服役的解放军军官们逐步控制共产党的程度却有所升级。1969年选出的新的中共中央委员会差不多有半数（大约46％）同时在解放军中任职。如果说与有关发动政变的上台的军政府不完全相同，那么这也是一个被军事人员过多参与的政府。
1971年9月，林彪企图篡党夺权，阴谋败露后，在蒙古上空死于飞机失事。消息于11月5日传到新建，也传到了邓小平的耳朵里，这是邓和卓琳自1966年底以来第一次被邀请听政治报告。似乎刹那间邓的看守的态度一下子变得比以前好多了，主要是因为从地方到省委的领导们开始来看望邓小平了。
1972年8月，邓通过汪东兴写信给毛泽东和中共中央委员会请求恢复工作。1973年3月初，中共中央委员会通过了把邓从江西召回来的决定。“文化大革命”后邓第一次在正式场合露面是在一次官方为柬埔寨西哈努克亲王举行的宴会上，一开始他几乎没有引起西方新闻界的注意，这与他在“文化大革命”后首次在非正式公开场合露面时的情景形成了强烈的对比。3月底他返回北京后觉得自己还有一点空余时间，便决定去观看地方队与来访的外国队之间的足球比赛。当他被群众认出来时，大家热烈欢呼起来，持续了好长时间，直至他起身向人们表示感谢，鼓掌欢迎才停了下来。
邓被送往江西省的新建县，他在那儿度过了三年零三个月，他被软禁于以前的一所步兵学校，每天在附近的一家拖拉机修理厂工作一段时间。他的妻子卓琳和继母夏伯根也跟着他去了。在这三个人中，当时已65岁的邓无疑还算是最强壮的。在邓的生活中这部分神话般的插曲在80年代回想起来简直就是邓打扫、劈柴和打糕的一幅画面。
行政秩序的恢复以及中苏关系由于中国北部边境而恶化，终于使中央在1969年后期决定把所有被清除的关在北京的共产党领导人分散到全国各地，据说这一决定是由林彪具体下的命令。尽管红卫兵出版社印发了这个决定，但毛泽东还是把邓的案子和刘少奇及其他“文化大革命”前的革命领导人的案子区别开来。传说是毛在中共第九次代表大会上曾经说过类似的话。当然，周恩来在1969年10月邓被送出北京时好像也曾特地为他安排了一个合适的地方。
邓和他的家人的生活当时无疑是极其艰难的，特别是1971年底以前。然而他们在新建度过的这般时间有一个明显的特点：邓的“看管者”在北京制定的标准范围内为邓安排了比较舒适的生活来适应地方条件。在某种程度上，这是周恩来施加的影响，或者是地方人民对邓的由衷的尊敬，当然和邓在新建县工作的那个工厂的党支部书记在抗日战争时期曾是邓的部下这个事实也不无关系。
1966年12月底到1969年10月期间，邓小平究竟发生了些什么事情，人们几乎一无所知。似乎他被批斗了将近一年。他和卓琳、刘少奇和王光美（刘的妻子）都是1967年7月“斗争会”的主要批判对象。然而，邓在1969年的十年却是极其多事的十年。在这十年中，他两次被打倒，然后两次又都重返政治舞台的中心及党的最高领导层。与五十年代能够依靠党内领导的一种团结精神不同，七十年代是极左思潮极度泛滥的时期，中共领导层由于“文化大革命”的结果而分裂得越来越厉害：对毛动员群众方法的功与过的评价；毛的接班人问题等。在这种不稳定的政治环境中，邓不仅得益于过去与毛泽东、周恩来的关系，而且还得到了过去在抗日战争和解放战争期间的同事和部下的帮助。
当邓和他的直系亲属到达新建时，那儿已经受到严密的监视并且有命令要限制他们活动。可是很快却在邓和他的妻子居住的地方到工作的工厂之间铺了一条二公里长的特殊小路，这样他们就不必走公共马路了；这条路被当地人异想天开地称为“邓小平路”，暗指当时的越南战争和“胡志明路”。邓被允许养小鸡，他和卓琳开垦了一块蔬菜园。邓甚至跟当地的一位妇女学着酿葡萄酒和白酒。
在1967年和1968年期间，“文化大革命”严重破坏了共产党和国家行政机关的工作，甚至人民解放军从1967年开始直接干涉内政也没能立即制止政治混乱。人民解放军在政治上的团结不比共产党好多少，尽管在林彪的指挥下（支持毛），目的是“恢复秩序”，但最终往往还是卷入地方的派性活动。
