前秦大军压境，东晋政权内部矛盾重重。王公大臣各保其势，不愿出战。晋孝武帝司马阳如坐针毡，建武将军谢玄果断请战。孝武帝大喜，拜谢玄为前锋，都督徐、兖、青三州造军事。
谢玄和叔父谢石及刘牢之等率北府兵8万人迎击秦军。他决定要采取先发制人的策略，在秦军没有集中的时候，挫败秦军前锋，激发东晋军士气。谢玄命令骁勇善战的将军刘牢之率领精兵5000人直捣洛涧，命令胡彬带领5000人增援寿阳，自己与谢石率大军阻击苻坚。刘牢之在怀远大败前秦军，斩杀敌将梁成，歼灭前秦军15000人，缴获大批粮草器械，首战告捷。
但增援寿阳的胡彬军受挫，只好退守硖石，并写信向谢玄求援。可是，书信被秦军截获。苻坚见信后，误以为东晋军已经不堪一击，便留大军于项城，自率轻骑兵8000人，赶到寿阳与苻融会合。
苻坚没有对战争的全局作综合的分析，刚刚获得了一点小小的成功，就未能克制自己的骄傲之心，轻敌妄动，忍耐不住成功带来的喜悦。被，这种情感冲昏了头脑的他，离失败也就不远了。
他又派东晋降将朱序到晋营来劝降。朱序原为梁州刺史，镇守襄阳，襄阳被前秦军攻破，兵败被俘，但他心向东晋。朱序到了晋营，便把秦军的虚实全部告诉了谢玄等人。