1946年10月19日，山东野战军和华中野战军主力刚刚集结于涟水以北的沭阳、宿迁地区，陈毅与张鼎丞、邓子恢、粟裕、谭震林会合在一起，两淮地区的国民党军队就重施避实击虚的故伎，向涟水城发起进攻。整编第74师和整编第28师192旅共4个旅3万余人，在张灵甫指挥下，兵分3路，向涟水城扑来。陈毅和粟裕、谭震林当机立断，集中23个团的兵力，迎击整编第74师和整编第28师192旅于涟水城下。

张灵甫志在必得，指挥3万余军队，在飞机掩护下向涟水城发起猛烈进攻，企图速战速决，占领涟水。他兵分3路，而把攻击的重点摆在涟水域南的废黄河河套地区。张灵甫把他的51旅摆在正面，向废黄河河堤冲击，以为只要渡过河堤，涟水城就唾手可得。然而他没有料到，粟裕早就把一支奇兵埋伏在这里，第5旅第15团在河堤上构筑了防御工事，沿废黄河北岸大小3道河堤设防，阵地前沿及河床底部设置鹿砦，全线以交通沟相连。指战员们斗志昂扬，摩拳擦掌，严阵以待。

国民党军的进攻，遇到了华野部队的顽强抗击，每发动一次攻击，就留下一堆尸体。激战至10月28日，粟裕下令全线反击，敌军有的被歼，有的投降，有的溃退。张灵甫组织督战队，以几十挺机枪阻击溃退蒋军。整编第28师192旅大部被歼，旅长曾振负伤，率残部溃退，被张灵甫的督战队杀伤数百人，还有不少人在渡河时落水身亡。曾振丢开整编第74师，率残部逃往淮安。随后，张灵甫也急忙收拾人马，逃回淮阴。涟水保卫战，歼敌9000多人，其中整编第74师6000多人，整编第28师192旅3000多人。

张灵甫首次尝到了失败的滋味。他在给整编第11师师长胡琏、第7军军长方先觉的电报中说：共军无论战略战役战斗皆优于国军。数月来，共军向东则东，往西则西。本军北调援鲁，南调援两淮，伤亡过半，决战不能。再过年余，死无葬身之地。吾公以为如何？ 而“猴子军”整编第28师则惊叹：共军避实击虚，迅雷不及掩耳，使你措手不及。有了这一仗的教训，整编第28师以后打仗就不再那么积极了。