由於苻堅所帶的軍隊太多了，他的中軍抵達項城（今河南項城）時，涼州的部隊才來到咸陽，而蜀漢的水軍正在長江順流而下，幽冀的士兵正在彭城（今江蘇徐州）地界行軍。軍隊走在路上，前後綿延近千里地。

秦軍的大舉進攻使晉國非常恐慌，文武百官盡皆失色，晉帝司馬曜更是驚恐不安。只有謝安胸有成竹道：“苻堅雖有雄兵百萬，但我有三勝之寶。”朝臣們的心這才稍稍安定，又向謝安請教誰當為帥。謝安推薦自己的侄子謝玄。於是司馬曜宣謝玄進京，任命他為元帥。謝玄又保舉劉牢之為先鋒，帶着八萬“北府兵”，由京口起軍，沿淮河西上去阻秦兵。

前秦的大將軍苻融圍攻壽陽，攻城很專業，圍三面而留一面。所以壽陽守將徐元喜並沒有死守城池，感覺頂不住的時候就棄城南逃，結果被秦將張蚝的伏兵襲擊。徐元喜被俘，晉軍投降。苻融進入壽陽後，東晉的龍驤將軍胡彬率八千水師已到了淝淮界口，苻融即命大將苻方率軍兩萬去迎擊胡彬。兩軍交戰後，晉軍不敵，便退至硤石。

硤石是進入淮水必經的峽口，在這個峽口兩岸各有一城，十分險要。苻方攻了四五日也沒有攻下，便向苻融請求增援。苻融道：“關口險要，不是增兵就能攻破的。不過你也不用攻城，只需要把兩城圍得嚴嚴實實的，時間長了胡彬一定缺糧，到時候城池不攻自破。”

苻融又派衛將軍梁成率五萬人馬搶占洛澗關口，阻止謝玄的軍隊逆流西上增援。謝玄被梁成阻在洛澗之東，沒辦法前進，只得暫時停止進軍，在洛澗河附近安下營寨。

被困在硤石的胡彬，糧食將盡，派人去向謝玄求援，被苻融捉到。苻融料定硤石指日可下，不由笑道：“我以前以為江南很難打，沒想到江南如此不堪。”立刻向皇帝苻堅報喜，苻堅也很高興，登上城頭向江南望去，感慨道：“真沒想到秦始皇一統天下的大業，這次落到了朕的身上！”喜悅之情溢於言表。

被勝利的喜悅感染着，苻堅便打算渡過淝水，尋找江南主力決戰。這時戰將朱序出來說自己願意先去勸降謝玄，勸降不成，苻堅再南攻不遲。苻堅於是派朱序去勸降。

朱序原是東晉的降將，在前秦滅涼的時候，朱序作為晉將進攻過秦國。後來在鎮守襄陽的時候，城破被俘，投降了前秦。

朱序見到謝玄，第一件事就是表白心跡，稱自己人雖在秦，卻一直心向晉朝。第二件事則向謝玄透露了秦國的機密情報。他說秦軍雖然號稱百萬，但實際上大多秦兵都在路途上。壽陽的秦軍只有二十多萬，現在必須趁秦軍兵力不是很多的時候速戰速決。不然，等秦軍全部在江淮部署完畢，那時候再想取勝就很難了。

謝玄聽完朱序的情報後，倒身便拜，說道：“破秦之計，全靠你了。”並且要朱序留下來幫助他。

朱序說：“如果我不回去，苻堅肯定要懷疑，而且我已經聯絡了涼州張天錫，剛剛投降秦軍的徐元喜等人，回去之後我們可做內應。”

謝玄於是不惜代價拼命強攻洛澗，終於將洛澗攻下，殺死梁成。晉軍迅速進軍到淝水東岸八公山下，與秦軍隔河相望。洛澗一失，秦軍南下的絕對優勢便消失了。

苻堅十分惱怒，他質問朱序：“你不是說謝玄願降嗎？為什麼他會強攻洛澗？”

朱序也做出一副很委屈的樣子：“我也是被謝玄欺騙了啊。”

苻堅想了好一會兒，還是相信了朱序，沒有殺掉他。

當日，苻堅與苻融登城瞭望，只見晉軍陣容嚴整，士氣高昂。此時正是十一月仲冬，淮河流域的草木正是繁盛的時候，草木隨風搖曳，殺氣瀰漫，影影綽綽像是滿山遍野的士兵。苻堅不覺心驚，對苻融道：“這明明是勁敵，誰說是弱旅呢？”苻堅由此創造了一個成語“草木皆兵”。

這時建康城中也充滿了不安和緊張的情緒，絕大多數人都被百萬秦兵壓境的恐懼所圍繞着，只有謝安遊玩於山水之中，不出去玩的時候便找朋友下幾盤圍棋，過得很是安閒。京城朝野見丞相都這樣淡定，於是也都安下心來。

謝玄見秦軍緊逼在河岸，晉軍無法渡河，只能隔岸對峙。但謝玄把對己不利的條件很巧妙地轉化為有利條件。他激苻堅說：“你不是自恃兵強馬壯，想要速戰速決嗎？你緊逼在河岸之前，我們怎麼對決？如果你真有膽氣的話，你往後讓一讓，給我在淝水北岸讓出一塊空地來，咱們好好地干一仗。”

苻堅認為可以趁謝玄的軍隊渡河到一半的時候出擊，將晉軍殲滅。苻融也認為這個作戰計劃很周密，可以實施。但實際情況是秦軍士氣低落，其中漢、鮮卑、匈羯、西羌等族的將士都很厭戰，指揮也不統一。向後撤時亂了步伐，陣形大亂，而且很多部隊都不知道為什麼撤退。更糟糕的是，朱序、張天錫等人組織了一批起義士兵在秦軍中故意大喊：“秦軍敗了！秦軍敗了！”一部分秦軍便信以為真，爭相奔逃。晉軍趁勢發起進攻，秦軍於是大潰，沒怎麼抵抗就紛紛奔逃。

苻融急忙帶着親兵跑到陣前，想要穩住陣腳，但亂兵如洪水一般後撤，就是前面的想止住步，後邊的也停不下來。苻融在混亂的人群中被衝倒，竟然被踩死了。這時朱序的起義士兵又在喊：“苻融死啦，苻融死啦。”秦軍更是無心戀戰，拼命北逃。晉軍如驅趕羊群一樣在後掩殺。其實根本不用晉軍動手，秦兵自相踐踏和擠入淮河中淹死的就不計其數。

在壽陽城頭上觀察戰場的苻堅當時目瞪口呆，愣在那裡半天沒有回過神來，他根本沒有想到會有這個結果！等他回過神來後，第一件事就是帶着城中不多的士兵逃跑。

秦軍以後的任務就是不斷地逃跑，拼命向北奔逃，沿途不敢停留，聽到風的聲音鶴的叫聲，都以為是晉軍追來，這就是著名典故“風聲鶴唳”的來歷。

當淝水之戰的捷報送到京城時，謝安正在府中與客人下圍棋。他看過捷報之後，拼命壓抑着激動的心情，不動聲色地把捷報隨手放在一邊，繼續下棋，就好像什麼也沒有看到一般。對面的客人着急地追問道：“前方戰事是什麼情況？”

謝安輕輕說道：“小兒輩遂已破賊。”說完此話，他走向內室，因為難以抑制心中的喜悅，走過門檻的同時竟然把屐齒給弄折了。

淝水之戰後，晉軍趁勢收復了東南的蜀漢以及黃河以南的大片地區。而對前秦打擊更大的是，慕容垂、姚萇、呂光、拓跋等人紛紛獨立，原本強盛的前秦頓時四分五裂，北方再一次陷入大混亂時期。