新四军老兵主要来自于江西、湖南、福建等地，很多人听不懂苏南话，而他们说的，当地人也听不大懂。 士兵奉命前去拜请地方士绅。士绅询问是什么部队，士兵回答：“我们是森西滚！” 士绅被这个“森西滚”搞得丈二和尚摸不着头脑，后来才知道士兵说的是“新四军”。 类似笑话还有不少，比如士兵介绍“某某司令”，听在当地人耳朵里，却是“某某西礼”。

客观障碍的存在，容易加深误解。先遣队初到江南，老百姓往往不肯借房子给他们住，官兵便在村外或田野里露营，遇到下雨，靠在屋檐下暂且过上一晚是常有的事。 还有不肯卖粮食的。这时候就只好饿上几顿或靠吃剩饭打发，粟裕本人就经常拿一只茶缸泡上剩饭来借以充饥。

困难叠困难，但所有的困难加一起，敌不过一个最大的：没士气。 苏南是淞沪会战和南京保卫战的发生地，战后日军对其进行了疯狂的烧杀——只要看一看南京大屠杀的资料，就知道当地军民曾遭遇了怎样的浩劫，日军所过之处，真正是“白骨露于野，千里无鸡鸣”。 日军烧杀的目的，不光是报复，还有恐吓，而这种恐吓，在一定时期确实能起到明显的威慑效果。

粟裕到达苏南后，发现江南民众的抗战情绪非常低落，更谈不上有任何抗战胜利的信心。不管先遣支队怎样解释和动员，人家都会反问：“既然你说抗战会胜利，敌人的力量在削弱，那为什么政府军队还要从徐州撤退呢？” 还有人说得更刻薄：“现在南京也没有几个鬼子，你们为什么不夺回来？” 质疑中，讥讽的意味很是明显，这使先遣支队的宣传就像拳头打在棉花上，一点痕迹都看不到。

当地民众不信任先遣支队，最主要的原因还是看到了支队背负的武器。 苏皖属顾祝同第三战区范围，第三战区共集结了30个步兵师旅，在这些部队中，新四军的装备只处于中下水平。先遣支队已是优中选优，好的武器都给它了，可加一起也仅有两挺轻机枪，其余枪支都是用旧的，有的缺少瞄准器，有的为便于打游击，长枪已锯成了短枪，还有的是埋在地下许久，刚刚才挖出来的。 皖南集结时，各部队一看新四军的装备如此落后，都有些瞧不起。

就在先遣支队出发之前，一位友军将领很不客气地对粟裕说：“你们军队有良好纪律，作为一支政治宣传队是好的，如果要到东线去打仗，那就只有听下回分解了。” 苏南百姓没有军人的那种鉴别眼光，但也见过世面。在淞沪会战和南京保卫战中，包括罗卓英第十八军在内的“中央军”都曾在苏南与日军鏖战，他们觉得，既然连这些装备优良的“中央军”都抵挡不住日军的进攻，凭先遣支队这么一点儿人，这么差的枪，怎么可能立得住脚。

一些对抗战失去信心的士绅便出面劝先遣支队：“你们明知山有虎，何必还要偏向虎山行呢？” 就算前面真的全是虎，粟裕也不可能再退回去，不仅不退，还要到山中去打老虎。 他给先遣支队提出的口号是：“一切靠打胜仗来解决！”过去的经历告诉粟裕，在战言战，只要打胜一仗，把士气振作起来，其他困难，不管是“环境关”，还是语言关，都将随着时间慢慢地迎刃而解