1937年在淞沪会战中，“八·一三”抗战爆发后，日军屡受重挫，不断增调援兵。10月26日，日军突破大场防线，企图切断闸北、江湾中国军队的后路，形势十分危急。谢晋元受命率第五二四团第一营官兵411人向南推移，留守闸北，掩护大部队撤退。谢晋元带领部队穿过敌人猛烈的炮火，于27日晨2时进驻苏州河北的四行仓库。曾奉命率部死守上海四行仓库，坚守4天4夜，击退日军6次进攻，被当时的报纸媒体与楚汉相争时田横的五百义士作比较，被称作是“八百壮士”，而谢晋元的英名也被人民广为传颂，称他是“上海守护神”

闸北区的“四行仓库”原为盐业银行、金城银行、中南银行、大陆银行在上海设立的联合营业所的仓库，钢筋混凝土结构，可抵抗日军的中型山炮轰击。

谢晋元坚守四行仓库的消息传开，上海人民无不敬佩感泣，把他们誉为“八百壮士”。每天从早到晚，数以万计的各界群众，不顾北岸日军的流弹四射，纷纷聚集在苏州河南岸，表示对四行仓库孤军的尊敬和关心。10月28日黎明，上海市商会派出一名女童子军杨惠敏携带慰劳品，渡过苏州河进入四行仓库，向孤军敬献新制青天白日满地红旗，表示全市人民的崇高敬意。谢晋元命令将青天白日满地红在仓库大楼楼顶升起，隔河观望的群众无不拍手欢呼。不久，以《歌八百壮士》为题的歌曲也创作出来：“中国不会亡，中国不会亡，你看那民族英雄谢团长；中国不会亡，中国不会亡，你看那八百壮士孤军奋守东战场。”人民群众的爱国热情激励着谢晋元和他的士兵。短短4天时间，他们在四行仓库这块弹丸之地，击退敌军数十次进攻。10月30日晚9时，谢晋元接到撤退命令。

800孤军进入租界后，被租界英军借口解除了武装，安置在胶州公园边一个临时营房中。在1941年4月24日清晨，谢晋元率官兵出操，发现几名士兵缺席，亲往传询，但早已被汪伪特务机关收买的4个民族败类，用匕首将谢晋元刺死。谢晋元时年37岁。4个叛徒分别是二连下士郝鼎诚、四连下士张文清、下士尤耀亮，上等兵张国顺。

全国，特别是上海的民众得知谢晋元遇害的噩耗后，极为悲愤，各界人士纷纷用各种方式悼念抗日英雄。4月25日前往送葬者达7万余人送行。同年5月，重庆国民政府追赠他为陆军少将。