然而，在1938年初，邓小平又一次被调动，和刘伯承到了一起——他们俩早在1931年在江西苏区就相识，这次调动，邓小平被任命为一二九师政委。在抗战初期，毛泽东似乎已经注意到了邓小平对一二九师的控制能力，在不久之前，毛泽东对此存有疑虑不是没有道理的，因为长征途中张国焘拒绝毛泽东对共产党的领导，特别是拒绝战略撤退所要到达的目的地。一度时间，他分裂了共产党和共产党的军队，向苏联靠拢，然而最后又在陕北根据地与毛泽东和共产党的其他人会师。一二九师的前身就是红四方面军，1937年8月，毛泽东改组了一二九师的领导班子，任命久经战场的武将刘伯承任司令员，张浩任政委。
邓小平在当时长期离开延安工作，并成为党内相当引人注目的人物，这些都反映了毛泽东对邓的信任程度。甚至在1942年和1943年毛泽东和他的支持者所发动的整风运动和使共产主义运动中国化的过程中，邓小平也没有被召回延安参加整风运动，在毛泽东看来，他与邓小平之间没有什么利害冲突，邓小平是一个部下而不是一个同事。在任何情况下，他都能显示出他是能够被信赖的。
在与国民党地方部队达成这个协议的同时，一二九师正与其它共产党和国民党部队准备参加抗日的百团大战，这次战役是由八路军副总司令彭德怀指挥的。这次战役是成功的，彭德怀的振奋似乎也是合乎情理的，因为日军的铁路运输线遭到了严重的破坏，八路军占领和接受了一些县和县城。但是这次战役所产生的一个重要后果是日军马上把军事力量集中对准了共产党的边区。
1937年7月，抗日战争的爆发，使中国共产党所有的力量几乎都投入到这场战争的军事行动中或与战争相关的工作中。邓小平不仅从1938年1月开始担任八路军一二九师政委直到抗日战争的结束，而且还有后来解放军在五十年代早期对中国西南的军事行动中，都表现了他卓越的军事指挥才能。邓小平步入军界，首先是毛泽东对他的信任。然而随着时间的推移，邓小平在军队中地位越来越巩固，逐渐地建立了他自己的威信，抗日战争结束时，作为刘伯承司令员政委的邓小平，他们所领导的军队被称为刘邓大军。
在太行山区位于邯郸——长治公路以北的武乡县和辽县（今左权县，为纪念在此遇难的共产党将军左权而改此名）是太行根据地的中心区。随着日军源源不断地从这里进入中国内地，主要是通过铁路运输的，因此这里的铁路运输线就成了日军保护的重点了。一二九师在敌后开展了斗争，建立了抗日的游击队，地方政府和与之相适应的系统的社会基础结构。1938年和1939年上半年，共产党在太行根据地及周边地区的发展很快，截止1939年底，一二九师活动的区域南面包括黄河沿岸大片区域中的四个根据地，东北面的石家庄——济南——徐州铁路线和西北面的石家庄——西安铁路线包括太行根据地；长治以西的太岳根据地；冀南和冀鲁豫地区，这两个地区都位于京汉铁路的东面。
一二九师起初能够取得成功，部分的原因是因为日本人的闪电战进攻速度之快，使其后勤保障无法跟得上。另外的原因是因为共产党和山西军阀阎锡山的特殊关系。1936年阎锡山加入了与共产党的爱国主义联盟共同抗日，允许抗日组织的活动，到1937年底山西大部分的军事和群众组织置于共产党控制之下。在一二九师活动的这个区域内，也就是后来的大岳根据地，情况更是如此，该根据地不再需要一二九师主力的帮助了。在太岳根据地有山西省共产党的领导人薄一波、戎子和通过牺盟会控制了当地的阎锡山政府和山西新军的部队，直到日本人开始大扫荡，八路军的正规部队才开始了帮助。1938年底，一二九师穿越了京汉铁路，部队得到了进一步的发展，因此，在1938年底和1939年初的一段时间，甚至一二九师的师部也搬出了太行山区，驻到了冀南平原。
在抗战开始时，邓小平被任命为八路军政治部副主任，当时的主任是任弼时，邓的任务最初是分管宣传，后来他又分管征兵和动员工作。1937年9月初邓小平参加了由周恩来在山西省会太原（太原两个月后沦陷于日本人）召开的军事会议，在这次会议上，邓小平被任命为由阎锡山、国民党和共产党共同建立的“第二战区民族革命战争战地总动员委员会”的共产党代表。邓小平从太原和八路军总部一起转移到石太铁路线以北、太行山脉北部的五台县。邓小平以此为中心走遍晋东北，相继建立起各县的战地总动员委员会和与此相适应的为抗战服务的各种基层社会组织，包括农民协会、工人联合会及各种形式的训练班、学习班。尽管可能有莫斯科中山大学的各种方法，但是抗日救国的口号对民族主义者肯定最具有感染力。有趣的是尽管邓小平在当时见过阿格尼丝·史沫特莱，但是史沫特莱的印象中似乎只记得当时八路军总部中的其他人，她只记得曾见过任弼时的助手，当时把这位助手的名字错听为“汀”。
邓小平被任命为一二九师的政委之后只去过延安三次，最长的一次是1938年的8月到12月，其间还出席了中国共产党中央委员会六中全会的扩大会议；1939年8月邓小平参加了政治局的扩大会议；1945年6月，尽管邓小平没有参加第七届党的代表大会，但是他参加了他被选入的中央委员会的第一次全会，并视察了冀鲁豫根据地。1939年8月第二次回延安时，邓小平认识了卓琳，次月和卓琳喜结良缘。
1940年的大部分时期，一二九师打的阵地战要比游击战多。这一年一二九师开始遇到的敌人是驻扎在当地的国民党部队。尽管1937年后国共两党结成了统一战线，但是双方的冲突是司空见惯的，因而1940年3月双方通过谈判达成了一个协议，该协议的内容是：共产党的部队应从太行根据地中与国民党接触的地带撤离到邯郸——长治路以北；共产党承认这一地区归国民党所有。邓小平似乎参加了这个协议的制定，该协议肯定完全符合邓小平争取国民党部队的计划。
政委制度是中国共产党借鉴苏联共产党的经验而来的，俄国十月革命后，为了创建红军，苏共认为许多士兵不是合格的共产党员，需要对他们进行政治教育和控制，对中国共产党来说，政委和政治部门的工作与苏共略有不同，他们的任务不仅是在军队中从事政治和宣传工作，而且还要在老百姓中也从事这种工作。确实在游击战的环境中这对中共的事业是极其重要的。在共产党政权还不太牢固，敌人随时都可能进攻的游击区，邓小平在这样的环境中曾经战斗过12年，现在八路军为了生存下来，需要得到老百姓的支持和帮助。实际上，军队和党是没有区别的，共产党员白天是农民，到了晚上便成了军人了。邓小平当时是游击区党的高级干部，负责军队中的政治事务，实际上，1942年共产党中央委员会建立了太行分局，邓小平被任命为书记——太行分局的最高职务。从此他在太行的地位才被正式承认。
根据国共两党合作共同抗日所达成的协议，1937年8月红军改编为国民革命军第八路军。八路军由三个师组成：由林彪领导的一一五师从陕西省三原地区向山西东北部挺进；由贺龙领导的一二零师向山西西北部挺进；由刘伯承领导的一二九师向山西东南部挺进。1937年9月，按照国民党政府制定的全国统一的战斗序列，八路军改称为第十八集团军。但是这个军队仍然是共产党的武装力量，它仍然保持着某种独立性，其原因就是在改编以前，共产党已成功地赢得了人民大众的支持，广大青年纷纷踊跃参加八路军，邓小平在这一过程中所起的作用是非常重要的。
刘伯承像邓小平和一二九师的许多原四方面军的人一样，也是四川人。刘伯承生于1892年，是一位久经沙场，足智多谋，骁勇善战的军人，在1926年加入共产党之前，一只眼被打瞎了，1937年后半年，刘率领一二九师从太行山区北部出发通过平定县，穿越石太铁路来到太行山的南郊地区，尽管当时一二九师有6千人，比八路军其它师的士兵多，但远远不够一个师的标准人数。太行山南部地区历来就是沟通华北与华中之间交通运输的战略要地。邓小平到任之前，刘伯承已经组织了几次突击队，成功地袭击了日军和日军飞机。然而那只不过是日军侵华的开始阶段，后来随着时间的推移，日军占领了华北的大部城市，所以太行根据地很快就成为共产党在敌后开展活动的中心了，甚至在1937年11月朱德把整个八路军总部搬到了太行根据地。
在邓小平和刘伯承密切合作的十四年中，首先是巩固了一二九师在太行山区的地位。后来又扩大了太行根据地和这支军队的规模。他们所建立的根据地最终合并成四个根据地——太行、太岳、冀南和冀鲁豫根据地。这四个根据地组成了晋冀鲁豫边区（即山西——河北——山东——河南），这个边区本身最终成为1948年组建中华人民共和国雏形的华北人民政府的一个最重要的行政区。在抗日战争结束时，刘邓所指挥的军队已成为共产党领导的最强大的武装部队之一了。在后来的解放战争中，这支部队变成了中国人民解放军第二野战军，南征北战取得了辉煌的胜利。特别是著名的淮海战役。在1949年至1952年期间，刘邓在中国西南地区组建了共产党的政权。通过这些年的征战，提高了邓小平在军队中的地位，这在后来证明对邓小平是很重要的，特别是“文化大革命”之后。通过这些年的征战，使他获得了动员群众和执行政策的实际经验，这个经验对他未来的执政是很重要的。同时，这些年的征战使他获得了众多同事和部下对他的广泛支持，这些同事和部下在“文革”后的政治中成为支持他的核心力量。
