公元383年五月至七月，桓冲率众十万反攻襄阳，分遣刘波等攻沔北诸城，杨亮攻蜀，郭铨攻武当。
前秦苻睿、慕容垂众五万救襄阳，张崇救武当，张蚝、姚苌救涪城。这是桓冲在淝水之战前夕为了减轻建康压力而采取的一次大规模策应行动，使苻坚南侵之师疲于奔命。谢玄部下广陵相刘牢之亦于此时遣宣城内史胡彬率众向寿阳，以为攻襄阳的桓冲军声援，显示出大敌当前时东晋内部桓、谢两大门阀的团结。
但与此同时，桓冲推荐王荟出任江州刺史，谢安则推出谢輶来当江州刺史，两方冲突又起，最后谢氏让步，司马曜以桓冲自领江州刺史。这反映出门阀之间的潜在矛盾，为同仇敌忾的表象下增添了不和谐音符。
公元383年八月，前秦天王苻坚下诏大举攻晋，试图统一中国，淝水之战终于爆发。苻坚亲率步兵60万、骑兵27万、羽林郎3万，共90万大军从长安南下，绵延数千里，水陆齐进，仅运粮船只就有万艘。
同时，苻坚又命梓潼太守裴元略率水师7万从巴蜀顺流东下，向建康进军。苻坚骄狂地宣称：“以吾之众旅，投鞭于江，足断其流。”这就是著名典故“投鞭断流”的来历。
东晋北上抗击秦军的总共兵力才8万，在宰相谢安的主持下，以谢石为大都督，谢玄为前锋，北府兵为主力，前往迎战。当时秦军前锋苻坚之弟苻融率30万大军首先到达颍口，秦军初战告捷，攻占寿阳，又截断了东晋派来救援的胡彬军的退路，将其团团包围在硖石。苻坚接到捷报大喜，他留大军于项城，带轻骑八千赶到寿阳，又派在襄阳俘获的东晋将领朱序去劝降晋军。
朱序则心怀故国，将秦军部署和盘托出，并建议趁秦军未完全集结，迅速出击。谢石本来是打算坚守不战，听了朱序的话后便改变了作战方针，决定主动出击。十一月，谢玄派刘牢之率精兵五千强渡洛涧，去攻击对手的5万人马，大获全胜，斩前秦梁成等10将。
洛涧之战令晋军信心倍增，谢石继续挥军水陆并进，直抵淝水东岸，在八公山边扎下大营，与寿阳的秦军隔岸对峙。谢玄见双方力量对比悬殊，形势又不容许晋军旷日持久地打消耗战，便派使者去秦营，要求秦军把阵地稍向后退，空出一块地方，好让双方一决胜负。苻坚认为让军队稍向后退，待晋军半渡过河时，再以骑兵冲杀，这样就可以取得胜利，于是就答应了谢玄的要求，指挥秦军后撤。结果秦军一后撤就失去控制，阵脚大乱。
谢玄率领八千多骑兵趁势抢渡淝水，向秦军发动猛攻。朱序这时在阵后乘势喊叫道：“秦军败了！秦军败了！”秦军有很多是强征入伍的，而且由多个民族组成，可谓同床异梦，人心本来就不稳，朱序这一喊，以为真的败了，越发慌乱，争相逃命，几十万军队就像山崩了一样丢盔弃甲的大溃逃。谢玄等乘胜追击，直至青冈（。此时，苻融战死，苻坚中了流矢，单骑北逃，朱序乘乱投奔晋营，东晋获得淝水之战的胜利。
淝水之战是中国历史上以少胜多、以弱胜强的著名战例，并给后人留下了著名的历史典故和成语。如“投鞭断流”、“风声鹤唳”、“八公山上，草木皆兵”等，一直脍炙人口。
淝水之战后，东晋趁北方大乱之机，收复了巴蜀及山东河南大片失地，一直打到黄河北面的邺城。后来由于翟魏、西燕、后燕等胡族政权的反攻加上东晋朝廷的内斗，东晋在淝水战后所收复的淮北土地至孝武帝末年又大部丧失。
淝水之战的胜利延续了东晋王朝的命脉，但内部的权力结构却发生了微妙的变化，随之而来的则是统治集团的内讧。在门阀政治下隐忍已久的司马曜在前秦南侵期间的公元383年九月便以胞弟琅邪王司马道子录尚书六条事，开始分谢安的权。
陈郡谢氏主导了淝水之战的胜利，却遭遇功高不赏的窘境。这一是因为长江上下游的桓、谢矛盾，但该矛盾由于淝水战后不久桓冲死去、桓氏暂时无人而化解；二是因为孝武帝、司马道子代表的司马氏皇权向士族门阀的挑战，这是导致谢氏面临危机的主要原因。