祖逖在给司马睿的奏折中写道：“八王”之乱给了胡人以可乘之机，让他们夺得了中原。现在，北方的百姓正处在水深火热之中，他们都想要赶走胡人，恢复中原。因此，只要皇上能够下旨北伐，我们这些人愿意马上带领兵将向中原挺进，北方的百姓也一定会配合我们，与我们并肩作战，一起消灭胡人。那样的话，恢复中原的目标很快就能实现。
公元313年秋，祖逖率领自己组织起来的部队，横渡长江北上。京口的百姓纷纷赶到江边为他们送行。祖逖已经五十多岁了，但是仍然精力充沛。他穿着战袍，佩带着宝剑，站在战船上向百姓们道别。随着战船向前行驶，岸上的百姓不断地向后退去。当船行驶到江心的时候，祖逖看着不断向前奔流的江水，心情非常激动。他走到船头，抬头仰望苍天，手里拿着木桨，不停地敲打着船舷，非常悲壮地说：“父老乡亲们，我们一定要收复中原。如果无法实现这个目标，下次回来的时候，我必将投入江中。”听到祖逖的慷慨陈辞，出征的将士们都非常激动，每一个人都充满了斗志。他们回答说：“我们愿追随将军，就算身首异处也在所不辞。”
清明节时，王导对东晋很多南渡的官员提到了恢复中原一事，这让那些官员深有感触。他们纷纷向晋元帝上书，请求晋元帝出兵北伐。祖逖知道这件事后非常高兴，他赶到建康，与其他南渡官员一起向晋元帝请战。
祖逖非常重视这个有名无实的职位，他领到圣旨后立即由建康返回京口。那里的百姓得知祖逖要北伐的消息后，纷纷前去投靠他。祖逖对这些人进行收编、整顿，他的部队一下子从几百人扩大到数千人。不久后，他又购买了十几条大船，为北伐做好了准备。
祖逖虽然是军事统帅，但是他在作战过程中往往能够身先士卒，奋勇当先。北伐军在他的率领下，作战都非常英勇。此外，这支军队军纪严明，还经常帮助家园被毁的百姓耕作，使得百姓非常爱戴这支部队。
祖逖率领部队不断向前挺进，沿途的百姓热烈地拥护他们，支持他们。祖逖率领部队打了几个大胜仗，数万敌寇被消灭，黄河以南的很多土地被夺回。
当时长江以北的很多地区，存在着很多地主豪强的武装，这些地主豪强设立坞堡，割据一方。他们有的割据自守，有的联胡反晋，有的与晋朝一起反对胡人，彼此之间为了争夺地盘，经常展开激烈的斗争。祖逖认为，如果把这些人拉拢过来，让他们与自己一起北伐，那么北伐的力量将会得到壮大。为此，他把那些地主请到自己的军营里，对他们说：“现在胡人侵略我们的领土，国家处于生死存亡之际。如果我们不停地进行内斗，那么无异于民族的罪人。为了一起把胡人赶出我们的国土，我们应该联合起来，为国效力。这才是英雄豪杰应该做的事。”祖逖的一席话说得那些人深受感动，因此便捐弃前嫌，一起支持祖逖北伐。祖逖得到他们的支持后，威望越来越高，部队人数也越来越多，几乎每次打仗都能取胜。
虽然多次上书没有收到成效，但是祖逖北伐恢复中原的决心从来没有动摇过。他继续向晋元帝上书。晋元帝看到祖逖一而再再而三地上书，而且态度非常诚恳，就采用敷衍的办法，把他封为奋威将军、豫州刺史。晋元帝虽然封了祖逖官职，但并没有拨给他武器和人马，只象征性地给了他三千匹布和一千人的口粮。
祖逖带领着手下人马，成功地渡过了长江，在淮陰驻扎下来。之后，他开始招兵买马，铸造兵器，开展军事训练。当地的百姓都非常支持他。没过多久，祖逖就招募到一支两千人的队伍。经过一系列精心准备之后，他正式开始率领将士们北伐。
公元311年，洛陽被刘曜攻陷，晋怀帝成了俘虏，中原各处战火纷飞，中原的百姓为了躲避战争，纷纷向南迁移。祖逖想要去战场上奋勇杀敌，但没有掌握兵权，所以无法抵御敌人的入侵。于是，他便带着家属与乡亲们一起到南方躲避灾祸。一路之上，他非常热心地照顾别人，主动维持秩序，看到年老体弱的人，就主动把自己的马让给出来，看到有困难的百姓，他又把自己的衣服、粮食、药物拿出来与此众人分享。由于祖逖一路上为大家提供了很多帮助，而且很有谋略，所以大家一致推举他担任“行主”，也就是逃难队伍的首领。祖逖带着这支逃难的队伍，顺利地来到了京口（今江苏镇江），并在那里安定下来。虽然逃到了南方，但是祖逖抵御外族入侵，恢复中原的志向从未改变过。为了能够在时机成熟时恢复中原，他挑选出难民中的青壮年，把他们组织在一起练武。祖逖的这个举动使得附近从北方逃到南方的难民纷纷投靠他，一些想要恢复中原的爱国人士纷纷参加他的部队。于是，他手下的士兵越来越多，很快就达到了几百人。琅邪王司马睿看到祖逖的势力不断壮大后，便拉拢他，把他封为军咨祭酒。身在江南的祖逖时刻不忘中原，上任不久后就多次向司马睿请求挥师北伐，却始终没有得到回应。
正当祖逖厉兵秣马，准备继续进军，收复整个中原的时候，司马睿却妒贤嫉能，害怕祖逖势力过太，不受自己控制，便想出了牵制祖逖的办法。司马睿派自己的亲信戴渊管理北方六州的军事，剥夺了祖逖手中的军权。祖逖为国家尽心尽力，却换来这样的结局，心里很不痛快。不久后，好友刘琨被朝廷害死的消息传来。祖逖心情抑郁，再加上劳累过度，终于病倒了。在病中，他仍然没有忘记黄河沿岸的防务，为了防止石勒派人袭击，他还亲自派人去修筑工事。
公元319年，蓬陂（今河南开封附近）坞堡主陈川与入侵的后赵国主石勒的手下桃豹相勾结，组织五万精兵，企图阻止祖逖的军队向北挺进。双方在蓬陂展开了决战。两军交战四十多天仍然未分胜负，双方的军粮都不足以继续支撑下去。在这个危急时刻，祖逖想出来一个非常好的计策。他派一千多兵士兵，扛着装满泥土的布袋送到晋军大营。之后，他又派几个士兵扛着几袋大米，故意停在半路上休息。桃豹在军营里看到那几个士兵后，立即派人出去抢米。那几个运米的士兵看到敌军后，丢下米袋就逃走了。桃豹的士兵已经饿了好几天，看到米后都非常激动，在米还没有煮熟的时候就狼吞虎咽地吃了起来。桃豹将晋军运到军营的泥土当成了大米，想到晋军有着充足的粮食，而自己面临着断粮的危机，心里非常不舒服。于是，他派士兵去向石勒要粮。石勒收到消息后，立即下令接济桃豹。祖逖料到石勒会这样做，就在路上设下埋伏，抢了后赵的粮食。桃豹的部队没有粮食，再也无法继续支持下去，便率领部队连夜逃走了。祖逖乘胜追击，收复了几座被敌人占领的城池。此后几年，祖逖又率领部队打败后赵军队，把敌人赶出了黄河以南地区。
晋元帝只希望在江南安安稳稳地当皇帝，并没有收复中原的志向。况且，东晋政权又刚刚建立起来，如果贸然出兵，会消耗国力，以敌人以可乘之机，因此，他总是采取拖延的方式，不理睬祖逖等人。
公元321年，壮志未酬的祖逖抑郁而终。
西晋末年，“八王之乱”爆发，羯族石勒和匈奴族刘聪利用这个机会进攻中原，使得中国北方陷入到四分五裂的境地之中。祖逖忧国忧民，与好友刘琨一起发奋读书，希望有朝一日能够北伐恢复中原。
