前秦苻坚与苻融登上寿阳城观望，只见东晋的军队布阵严整，又望见了八公山上的草木，也以为都是东晋的士兵，苻坚茫然若失地对苻融说：“这明明就是强敌，怎么能说他们软弱了。”一丝恐惧浮上了他的心头（草木皆兵）。
前秦的军队紧逼着淝水布阵，东晋的军队无法渡过，谢玄派使者对苻融说“请求你们移动兵阵后撤，让我们的军队得以渡河，然后一决胜负。”
前秦众将都反对，苻坚说：“我们只需要稍微后退一点，趁他们渡河渡到一半时，我们再出动铁甲骑兵奋起攻击，肯定能击败他们。”苻融也认为可以，于是就挥舞战旗，指挥兵众后退。
当前秦军队开始后移时，朱序和他的心腹在秦军阵后大叫：“秦军败了！”后方的秦军不知道发生了什么，一退而不可收拾。谢玄、谢琰、桓伊等率领八千精兵渡河攻击他们，苻融想控制乱局，结果在乱军中被东晋的士兵杀掉，前秦的军队顿时就崩溃了，朱序乘机与张天锡、徐元喜都来投奔东晋。败逃的前秦军队慌不择路，自相践踏，听到风声和鹤鸣都以为是晋军追来了（风声鹤唳），死亡的人数十有七八，淝水都因此而堵塞了。
谢安接到了驿站传递的书信，知道前秦的军队已经失败，当时他正与客人玩围棋，他看完捷报，便放在座位旁，不动声色地继续下棋。客人问他是什么事，他慢条斯理地说：“没什么，孩子们已经打败了敌寇了。”
直到下完了棋，客人告辞以后，谢安才抑制不住内心的狂喜，手舞足蹈地跳进房里，把木屐上的屐齿碰断了都没有发觉。
淝水之战后，谢氏一门四人同日封公，鼎贵无比，奠定了谢氏家族的一流门阀地位。后来南朝梁武帝时期，侯景曾向梁武帝请求和王谢两族联姻，梁武帝萧衍不答应，说“王谢门高非偶，可于朱张以下访之。”侯景很生气，后来娶了萧衍的女儿，可见当时即使是皇族以门第论也是比不上王谢两族的。
淝水之战后，北方重新陷入混战的局面，东晋乘胜北伐。鹰扬将军刘牢之攻克了前秦的谯城；桓冲也派遣郭宝攻克了前秦的魏兴、上庸、新城三个郡；将军杨期占据了成固，赶跑了前秦梁州刺史潘猛；赵统攻打襄阳，前秦荆州刺史都贵逃奔鲁阳。
紧接着，前秦洛州刺史张五虎占据丰阳向东晋投降。东晋将军刘春攻打鲁阳，都贵逃回了长安。东晋梁州刺史杨亮率五万伐蜀，收回了被前秦占据的巴蜀地区。
谢安已经晋封为太保，他上表请求乘着北方苻氏失败之机，开拓中原地区，任命徐、兖二州刺史谢玄为前锋都督，率领豫州刺史桓石虔讨伐前秦。谢玄抵达下邳后，前秦徐州刺史赵迁放弃彭城逃走，谢玄进军占据了彭城。
谢玄让刘牢之攻打前秦兖州刺史张崇，张崇放弃了鄄城投奔后燕，刘牢之占据了鄄城，河南城邑村堡里的人全都前来归附东晋。
谢安的女婿王国宝，是王坦之的儿子，谢安讨厌他的为人，总是压制着他而不加以任用，只让他担任尚书郎。王国宝自认为出身于名门望族，按惯例只在吏部供职，其他官署一概不干，因此对于任命固执地辞让，不予就任，并因而怨恨谢安。
王国宝的表妹是孝武帝的弟弟会稽王司马道子的妃子，司马道子和孝武帝是皇室血缘最近的一支，在当时被委以大任。孝武帝和司马道子两兄弟都喜欢喝酒，互相亲昵邪媚，王国宝于是就向司马道子说谢安的坏话，让司马道子挑拨谢安与孝武帝的关系。谢安的功名已经非常显赫，然而那些行为邪恶，追求晋升的人，却大都诋毁谢安，于是孝武帝从此开始疏远猜忌谢安。
北方形势一片大好，加上皇上的猜忌，谢安为了避祸，于是上疏请求亲自出征北伐，朝廷便让谢安担任都督十五州诸军事，并授予他黄钺。
桓冲在淝水之战后不久去世，谢安没有让谢玄去出任荆、江两州刺史，又担心桓氏失去荆、江二州的职权会不服，又考虑到桓石虔骁勇善战，如果让他具有险胜之地，恐怕难以控制，便任命桓石民为荆州刺史，桓伊改镇江州，桓石虔镇守豫州，使三桓统辖三州，彼此没有怨言各得其所，为接下来的大规模北伐稳定了后方。谢安执政，总是从长远考虑，使部属之间无争无斗。
谢玄率领的北府军自广陵北上，攻打苻坚的侄子苻朗，军队抵达琅琊，苻朗前来投降。接着又平定了兖、青、司、豫各州，于是谢玄被任命为都督七州诸军事。中路和西路的桓氏则出兵攻克了鲁阳和洛阳，并收复了梁州和益州。
至此，淝水之战前秦、东晋以淮河-汉水-长江一线为界的局面改成了以黄河为界，整个黄河以南重新归入了东晋的版图。
会稽王司马道子喜好专权，又被奸邪谄媚者所挑拨煽动，渐渐使孝武帝与太保谢安之间的隔阂越来越深。一天，孝武帝召桓伊宴饮，谢安陪坐。桓伊最擅长的是吹笛，有“笛圣”之称，孝武帝命桓伊吹笛，桓伊神色自若地吹了一曲，一曲奏罢，满座称善。桓伊放下笛子说：“虽然臣对于筝的技艺不如笛子，但请允许臣奏筝歌唱，并请求来一个吹笛人为臣伴奏。”
孝武帝知道他在音乐方面特别有才能，就允许他召家奴来。家奴吹起笛子，桓伊就抚筝唱起了曹植的《怨歌行》：
为君既不易，为臣良独难。忠信事不显，乃有见遗患。
周公佐成王，金縢功不刊。推心辅王室，二叔反流言。
……
吾欲竟此曲，此曲悲且长。今日乐相乐，别后莫相忘。
曹植才高八斗学富五车，销魂绝代佳公子，却在胞兄曹丕的猜疑迫害中了却残生。《怨歌行》中曹植慨叹当皇上的难，做臣子的也难，皇上看不到忠臣的心，反而要加以猜忌。
桓伊抚筝而歌，筝声清扬，笛声婉转，他的歌声慷慨激昂，听者无不动容，那个年轻时纵情歌酒坚不出仕，淝水之战百万秦军压境尚且面不改色优游自若的谢安亦为之落泪，眼泪打湿了衣襟，一曲终了，谢安离席来到桓伊身边，捋着自己的胡须说：“使君注定了不平凡。”孝武帝亦面露愧色。
恰好前秦王苻坚前来求救，谢安就请求亲自率兵去救援苻坚，主动交出了手上的权力，离开了朝廷去镇守广陵的步丘，并住在这里。
不久之后，谢安因病请求回到建康，朝廷下诏同意了，壮志未酬的谢安回到建康养病，没多久，就去世了。朝廷下令，按照非常规的礼仪安葬他，然后任命司马道子监扬州刺史，都督中外诸军事，任命谢石为卫将军。
在谢安死后不久，东晋就停下了北伐的脚步。
