邓在1927年到1928年期间的活动鲜为人知，即使在他女儿写的传记中也只是泛泛而谈，大概因为中共秘书处的工作处于地下状态，邓在日常工作中随时都会碰到危险，因此他的行踪始终都是秘而不宣的。后来邓回忆起这段岁月时说：当时到处都是白色恐怖，但他和他的妻子与周恩来和邓颖超（周恩来的妻子）共住的一幢房子仅被搜查过一次。由于中国国内的形势和共产国际想继续控制中共的双重原因，1928年6月第六届中共代表大会在莫斯科举行。中共新集体领导班子大部分成员包括周恩来和领导抨击陈独秀的瞿秋白都去了莫斯科。然而工人运动的组织者李维汉，——邓在蒙达尼认识他的——在大会期间留下来负责中共的日常事务，邓成了他的助手。
1928年春天，通过一张私人纸条的联系，邓第一次结婚了，他的妻子是张锡瑗，一个通晓欧洲语言的专家，也在中共秘书处工作，他们相识于莫斯科，在上海结的婚，不幸的是，这仅是一个短暂的婚姻，她在1930年1月死于难产后的一种疾病。尽管1929年9月中共中央派邓去广西组织政治活动，他在12月下旬的某个时候曾回到上海汇报工作，他妻于死时他正在上海。
邓把他的名字改为邓小平，南下到了长江沿岸的武汉，又一次和周恩来到了一起。不知是由于他和周的关系，还是因为他的资格比较深，邓被分配担任中共中央委员会的秘书长，当时中央委员会总部设在武汉，国民党已经分成两派，左派总部设在武汉，远离蒋介石的影响。中共把它的中央秘书处也设在此地，似是很自然的。因为它能提供一些政治保护。不幸的是，到了1927年七八月间，这个想法也不能如愿，主要是由于共产国际的干扰，国民党左派也把矛头指向了中国共产党，迫使其转入地下。中共中央委员会在武汉召开紧急会议，邓小平作为秘书长也参加了会议。这次紧急会议认为总书记陈独秀个人应该对党的灾难负责并撤销了他的领导职务，重新制定了一套新的军事起义方针，中共中央委员会（包括邓）秘密到了上海。在上海，年仅23岁的邓小平被任命为中共中央秘书长，这是一个处理日常行政事务的行政职务，负责中共重要文件的保密工作、交通和财政事务。这段时间，对中共是一个考验，上海和其它城市地区的中共活动差不多全部转入了地下。1927年到1928年，中共进行了一系列的军事起义，其中最著名的是1927年8月的南昌起义。
邓小平在莫斯科结识的人中可能有陈绍禹，当时陈的这个名字比他以后所用的王明这个名字更有名气。王明就是自1930年底至1935年初一直统治中国共产党的28名布尔什维克中的最高领袖，还有张闻天，也是这28个人中的其中一员。邓小平在中山大学的这些同学中还有三人值得一提：一个是当时他并不认识的蒋介石的儿子蒋经国，后来国民党退守台湾，其父蒋介石死后，他成为中华民国的总统；另一个是王稼祥，也是作为28名布尔什维克的成员回国的，他后来较少在公开场合出头露面，后来证明：在1935年中国共产党内毛泽东为争夺最高权力的斗争中，王稼祥给予了毛宝贵的支持，并且是长征的主要领导人之一，与毛泽东、张闻天一起在遵义会议上作了重要发言。1933年当邓小平的日子不好过时是王稼祥立即伸出援助之手；第三个同学是冯玉祥的大女儿冯辅能，1926年冯玉祥去苏联寻求援助，他并不是一个典型的军阀将领，而是一个接近共产党具有高度严明纪律的基督教将军。尽管他基本上是反共产主义的，但准备暂时接受苏联的援助，然而共产国际的援助是建立在冯玉祥加入国民党并参与蒋介石重新统一中国的军事行动——北伐——的基础上的。这也受到中国共产党的支持，冯玉祥回国时随行的大约有一百多位共产国际的顾问，包括好几个中国人，这其中就有邓小平。冯玉祥的国民军是以中国西北部的西安为基地的，在军队的总司令部下有几个信奉共产主义的军官们，当时他们既是中国共产党的党员也都是国民党员，建立了一所军事训练学校。——邓小平在该校担任政治指导员，帮助培养未来的军官。但是到了1927年4月，这个计划不得不放弃了，中国共产党与国民党之间的冲突越来越激烈，直到公开化。冯玉祥在这场冲突中公开倒向蒋介石一边。
在莫斯科，邓小平终于有机会能够深造了，尽管这里的学习主要是政治上的而不是学术上的。他循着早年的中共党员踩出的路从欧洲来到了莫斯科，从二十年代后期开始，许多中国人就在莫斯科的东方劳动者大学、中山大学就读，后者创建于1925年底，即中国共产党与国民党关系最好的时期，目的是为中国革命培养人才，资金主要是富裕的国民党党员捐赠来的。这在中国共产党的历史上是一段有趣的岁月，不仅中国共产党、苏联共产党与国民党之间互相密切合作，而且中国学生自己也卷入到苏共党派内部的冲突之中，并受到布哈林、斯大林、托洛茨基的追随者的拉拢。
