苻坚的计划本来也非常不错，不过他没有想到，前秦军队在后撤的时候，由于将士们士气低落，很快便乱了阵脚，不停地向后撤。谢玄看到时机已经成熟，便率领八千多骑兵，快速渡过淝水，向前秦军队发动猛烈的攻击。朱序在前秦军队中大声喊道：“我们的军队被击退了！”前秦的士兵们听到这句话后，变得更加慌乱，纷纷拼命地向后逃去。后面的部队看到前方部队向后逃，便也跟着向后逃，结果全军一起向北逃跑。苻坚在逃跑的过程中，肩膀上被射了一箭。他只顾着骑马奔逃，一直跑到淮北才停下来。前秦的士兵全都不敢停下来喘气，听到风声和鹤的叫声，都以为是晋军从后面追上来了，所以就更加拼命地逃跑。晋军一路乘胜追击，收复了寿陽。前秦将士死的死，伤的伤，逃到洛陽时只剩下十万人。
淝水之战，对于前秦和东晋都有着非常重要的影响。对于前秦来说，经过这次大战，前秦损兵折将，实力受到很大影响。本来依附前秦的羌族的姚苌和鲜卑族的慕容垂看到前秦势微，便背叛了前秦，建立起自己的国家。对于东晋来说，东晋政权在江南的统治更加稳固，北方少数民族受到震慑，再也不敢贸然南下侵扰，使得东晋在此后的几十年一直保持和平稳定的局面。
十一月，淝水之战正式揭开序幕。谢玄派“北府兵”将领刘牢之率领五千人马向洛涧发动突袭。“北府兵”的战斗力非常强悍，刘牢之又骁勇善战，洛涧五万前秦兵马很快就被击溃。守卫洛涧的前秦将领梁成和梁云兄弟二人战死，前秦军一万多人被杀，“北府兵”取得了大胜。
由氐族人建立起来的前秦经过十多年的发展，国力有了非常明显的提升。前秦皇帝苻坚先后将前燕、代、前凉等几个割据的小国灭掉，基本上统一了北方。公元373年，前秦向东晋的益州（今四川成都）和梁州（今陕西汉中）发动进攻，并顺利将这两个州占领。如此一来，前秦的势力范围得以进一步扩大。苻坚被胜利冲昏了头脑，打算向处于江南的东晋发动进攻，希望能够一举消灭东晋，将南北地区统一起来。
晋军与前秦军队隔河对峙了好几天。谢玄觉得这样拖下去会对晋军不利，就想出了一个激将法。他派人给苻融送去一封信，在信中写道：“你们的军队把阵地摆在淝水岸边，这分明是要和我们打持久战，决不是想速战速决。如果你们能够把阵地向后撤一些，让我们晋军能够渡过淝水，然后我们决一死战，不是远比这样僵持下去要痛快得多吗？”
苻坚手下将领都觉得不能答应晋军的请求，苻坚却认为可以这样做。他打算在晋军渡河渡到一半时候，派骑兵冲杀过去，那样的话，晋军必定大乱，前秦军就可以轻松地获得胜利。苻坚的计划得到了苻融的支持。于是，苻坚派人给晋军送信，表示同意晋军的要求。
面对着气势汹汹的前秦部队，东晋宰相谢安镇定自若。他仔细地分析当时的形势，派自己的弟弟谢石为大都督，派自己的侄子谢玄为前锋都督，率领八万军马赶到江北，抵抗前秦军队的进攻。同时，他又派胡彬率领五千水军赶到寿陽（今安徽寿州），抵抗向建康进发的前秦水军。
谢石觉得秦军实力强大，原本打算坚守不战，等到敌人疲惫之后再找机会发动反攻。他觉得朱序的话非常有道理，便对作战方针做出调整，决定趁前秦军队立足未稳之时，主动出击。
公元383年八月，苻坚亲自率领大军浩浩荡荡地从长安向江南挺进。与此同时，苻坚又命令裴元略率领七万水军从巴蜀沿着长江顺流东下，向建康进军。前秦数十万军队水陆并进，队列连绵数万里。苻坚看着自己的军队，信心十足地说：“我所率领的部队，把鞭子投入长江，足以让长江断流。”
胡彬按照谢安的吩咐，率领东晋水军向寿陽进发。可是刚刚走到半路，他就收到了一个坏消息。原来，前秦的先锋苻融已经攻下了寿陽。胡彬无法按照谢安的命令继续前进，只得退到硖石（今安徽寿州西北），然后派人给谢安送信，等待谢安的新命令。
谢石和谢玄指挥晋军乘胜追击，一直追到淝水东岸。前秦军队就在淝水西岸布阵。不可一世的苻坚根本就没有想到前秦军队会被在洛涧被晋军打得惨败。正当他惊魂未定的时候，东晋的兵马就赶到了淝水东岸。他登上寿陽城头，向对岸望去，只见对岸八公山上到处都是晋军和旗帜和士兵。他觉得晋军非常强大，要想打败晋军并不容易。
苻坚认为，朱序曾是东晋将领，在晋军中有一些熟人，如果派他去，一定能够成功地说服晋军投降。苻坚的如意算盘打得不错，但他不知道，朱序是“身在曹营心在汉”。朱序来到晋军军营，见到了谢石和谢玄，非但没有劝他们投降，反而还为晋军出谋划策。他指出，苻坚的大军还没全部赶到前线，此时发动攻击，一定能够给前秦军队沉重打击，那样的话晋军还有取胜的希望；如果等到前秦军队全部赶到前线再发动攻击，那么晋军一点儿取胜的机会都没有。
淝水之战是我国历史上著名的以少胜多的战役之一。
当时苻坚率领大军正在项城。苻坚看到信后，非常自负地认为，东晋与前秦强大的军队抗衡，简直就是以卵击石。他把前秦数十万人马留在项城，自己带领八千名士兵，立即从项城赶往寿陽。见到苻融后，苻坚觉得逼迫东晋投降才是上策，于是便打算派人去说服晋军投降。经过一番思考之后，他们觉得朱序是最合适的人选。朱序本来是晋朝的将军，在几年前曾经坚守襄陽，抵御前秦军队的进攻，后来兵败被俘，投降了前秦。
攻下了寿陽的苻融又派人攻下了洛涧。这对胡彬来说是一个非常沉重的打击，因为他的后路被苻融给截断了。胡彬的部队遭到前秦部队的前后夹击，粮草很快就出了问题。对于打仗的部队来说，粮草无异于生命。如果没有粮草，就算再强悍的部队，最终也无法取胜。胡彬明白这个道理，于是就派人悄悄地给谢石送信，希望谢石能够接济他的部队。可是，那个送信的士兵被秦军给俘虏了。苻融得到了胡彬写给谢石的信，看到信后非常高兴，立即又派人把这封信送到苻坚手里。
