1950年，朝鲜战争爆发，中国决定派军支援朝鲜，志愿军由此开赴朝鲜。要知道美国军队无论是在武器装备还是在其他方面，都要远高于刚刚经过战争和刚刚建立的中国许多，朝鲜战争可谓是困难重重。

1951年5月的一天，人民志愿军60军180师在第五次战役中遭敌包围，损失惨重，全师7000余人只有300余人突围，这个消息传回国内，张祖谅不可不谓不惊诧。毕竟60军事他一手带出来的，60军180师的作战能力别人不知道，他还不知道吗?

张祖谅是60军的军长，60军事第二批如朝鲜战场的。但是考虑到张祖谅胃病缠身，再加上川西军区又刚成立不久，剿匪、反霸、支援地方建设等诸项工作十分艰巨，便没有同意张祖谅率部出征的请求，而是安排其他将领担任60军军长率部入朝。

但是经过这一站，60军的士气大受打击，甚至还有人提出撤销180师的建制。面对这样的情况，张祖谅坐不住了，他想要上朝鲜战场。

1952年7月，张祖谅来到了朝鲜战场，了解到当时的战役情况，硬汉张祖谅也不禁湿了眼眶，60军事他一手带出来的，面对惨重的损失，张祖谅心都在滴血，但是报仇雪恨的心也没有少。

张祖谅重掌60军，虽然是上上下下的期待，但是张祖谅也甚至自己肩上的终身。

1953年6月10日，张祖谅提出了一个大胆的计划，为了提高战役的胜利，让几千人埋伏到敌军阵前，而与敌人都距离要不到200米。

人夜，潜伏的战士们奇袭敌人，犹如神兵天将，一时间。让仅70分钟时间，将士们就攻占了902.8、973两座高地约10余平方千米的敌军阵地，全歼韩军第5师27团大部和师属，创造了一战歼敌1个团大部的 阵地战纪录，总共歼敌7812名，而敌人直到70年代编写战史时都没弄明白志愿军的进攻为什么那么神速。

60军的胜利，得到了联合司令部的高度赞扬和嘉奖，也使上级和兄弟部队改变了对60军的看法。张祖谅在朝鲜战场上书写了自己作战指挥生涯中闪亮的一笔，打出了军威，打出了国威，但他坚持认为个人永远是沧海一粟，胜利归功于60军的全体将士。

1955年被授予中将军衔，1961年5月13日张祖谅中将因病医治无效，在上海逝世，享年50岁，同年安葬在雨花台革命军人公墓。