1946年夏天，淮北地区连降暴雨，河水暴涨，到处一片汪洋。陈毅率山东野战军指挥部冒雨艰难地行进，于7月25日到达淮北。当时，粟裕率华中野战军在苏中连战连捷，陈毅决心在淮北打两场胜仗，以改变淮北的局势。但到7月底，敌情发生变化，沿陇海线两侧继续进攻的蒋军主力已增加到15个团，而陈毅手头的21个团的兵力对他们只能击溃不能歼灭，便打算以主力向灵壁、泗县找桂顽敌求战，拟先消灭其两个团即转而进击津浦路宿蚌段。

华中分局的张鼎丞、邓子恢根据以往的经验，感觉桂系部队由白崇禧经营多年，是有相当战斗力的。7月30日致电陈毅，劝他改变主意去打蒋军。8月2日，陈毅、宋时轮复电华中分局：张邓30日电，要我们打蒋军不打桂系。我们事前经过慎重考虑，蒋军计八个整旅，紧靠在一起，离徐州不到四十里，彼此间隔不到十里、二十里不等，增援多而快，只能击溃不能歼灭。此次打92师，我9个团打两天两夜始结束战斗，故无法下决心去打北线蒋军。但蒋军再向东进，则有打的机会。现桂系四个团分布在灵壁、五河、泗县三处，其增援均在七八十里以外，打定可能全歼。历来打桂系均用相等兵力，故奏效不大，此次改变是可能奏效的，已决定5日夜攻泗城不再变。

8月3日，毛泽东看到陈毅要求打泗县的电报，感到雨季作战条件不好，指示陈、宋：凡只能击溃不能歼灭之仗不要打，只要主力在手总有机会歼敌，过于急躁之意见并不恰当。次日再次电告陈、宋：你们手里有五万机动兵力，只要有耐心不性急，总可找到各个歼敌之机会。但是，陈毅、宋时轮已在8月2日下达攻打泗县的命令：8师与九纵3个团主攻，二纵与7师负责打援、切断泗县与灵壁之敌的联系。

8师师长何以祥、政委丁秋生和九纵负责人接到命令后，立即来到泗县城外，眼前的景象令他们担心。泗县有石梁河等五道大小河流环绕，县城周围原为湖泊沼泽地，平坦开阔，利于守而不利于攻。这些天连降暴雨，河水暴涨，城外壕沟水深两丈，宽达五丈，对我军形成天然障碍。泗县城门已经修筑了炮楼，城墙上每百米有一火力点，四角上也有碉堡，城外设有鹿砦。大家看过地形后，向上级建议等大炮运到再动手。但是遍地大水，不知还要等几天，建议被拒绝了。

8月7日午夜时分，8师以5个营兵力发起攻城，连续爆破勇猛冲击，不到10分钟即突破北大门和西北门攻入城内。但守军组织顽强反扑，攻击部队准备不足，未能及时发展打通两突破口的联系，又无有力预备队和炮火支援。第二天天亮后，敌军在泗县城内发起反击，先以猛烈炮火切断城内我军与城外的联系，接着以连、排规模依托房屋向我军冲锋。8师的火炮因为洪水运不上来，火力上没有优势。敌军占了上风，夺回了西门，8师22团的3个营在城里苦战，伤亡很大。

8月8日，九纵77团在东门与敌军血战，伤亡惨重。73团突击排冲上城墙后，与敌军争夺碉堡。因炸药包受潮不能用，机枪在泅渡时掉到水里，手榴弹很快打光了。又因城外水深，后续部队跟不上，全排几乎伤亡殆尽。当日战斗最激烈时，宋时轮参谋长来到8师指挥。陈毅在睢宁葛楼山东野战军指挥部听到泗县战报，焦急不安，一再询问情况。黄昏时分，8师再派两个营进城增援，但兵力始终不占优势。陈毅当夜指示宋时轮：今夜如已总攻，望坚决打。如今夜不能总攻应后撤。

9日，五河敌人来援，被第7师击退，而更多敌人正准备向淮北运动。城内8师战士与敌拼杀竟日，血流满地，河水为之染红，但战斗仍在僵持消耗状态。鉴于8师伤亡太大，战士们过于疲劳。九纵、二纵因大水阻隔，无法投入更多兵力增援。为避免继续消耗，山东野战军领导决定停止攻击，全部主力撤往睢宁地区休整。

曾被称为陈军长袖子里的小老虎的8师，从未打过这样的窝囊仗！虽歼灭敌人3000余，但8师亦付出2000余人的伤亡代价，而且说到底城未攻下，使山野西击津浦线的计划受挫，8师士气受挫。当时8师官兵牢骚埋怨的话很多。

8师政委丁秋生找到陈毅，恳切地说：我们8师泗县一战没打好，我有不可推卸的责任，请司令员处分我吧！陈毅心情也很沉重，安慰说：泗县之战，我不认为是什么败仗。充其量也只是一次平仗。我要批评你们的是，8师还不够全面，你们只会打胜仗，不会打败仗。你们要经得起各种各样的磨炼，打了胜仗，骄傲了，那很危险；打了败仗，气馁了，这也很危险。那是灭自己的志气，长敌人的威风。仗未打好，不是部队不好，不是师旅团不行，不是野战军参谋处不行，主要是我这个统帅的问题。陈毅作为首长，主动承担了失败的责任。