当年日本人虽然投降了，但是是因为日本广岛被美国投下原子弹，迫不得已的情况下被迫缴械的。因此，当时的日军心里是不服气，不甘心的。所以，大部分的日军从中国撤兵之后，仍旧有一些日本军悄悄的留在了中国。

而这批留下来的小鬼子在中国山西，人数约为13000人，全都是鬼子精兵，他们将名字都改成了中国人的姓名，潜伏在这里，意图又朝一日能够卷土重来。

1945年，留在中国山西的这些日本军人终于得到了一个机会。当时解放战争时期，阎锡山部队的主力被打散，急需扩充军队。于是他就从这13000多名的日军当中精心的挑选了6000余名作战能力较强的士兵进行收编。这些日军不仅可以大大的解决兵力的需求，同时也可以在技术以及其他方面提供给部队优势。

而对于这些想要反败为胜的日军来说，这就正中他们的下怀。虽然一开始也有点犹豫，不过考虑再三，他们觉得用这种方法长久的留在中国也是不错的。万一，天皇又率兵杀回中国，他们也可以在中国来个里应外合。

为了收编更多的日本士兵，当时，阎锡山为了可以扩充兵力，收编日本的残军士兵，用“反共是共同的目标”来进行让日军参战，还用大量的钱财和美女们来进行诱惑。

许多的日本的残兵们从中国的武汉以及北方地区赶到了山西，纷纷加入到了阎锡山的队伍里去。有的被遣送回日本的士兵也又回到了中国。

阎锡山收编了这些日本士兵之后，将他们暂时的编入第10总队，正式加入了晋军。当时的阎锡山率领部队不断的攻击八路军队伍，但是交战没几次就败下了阵来。

1948年7月，晋中战役爆发，阎锡山率领收编的鬼子军队，与徐向前的部队进行作战，在此次战役中阎锡山一方损失兵力10万多人，其中被打的最惨的就是收编日军的第10总队。

当时的徐向前让日本士兵闻风丧胆，一听到徐向前杀过来了就连忙丢兵弃甲的投降了。有一次交战之中，有几名解放军战士冲入了一个日本兵躲藏的屋内，领队的军官没有下令开火，而是走到解放军面前问：你的徐向前将军的士兵。战士大声回道：是。日本兵们立刻就缴枪投降了。

在后来的太原战役之中，大概有1100余名的日本士兵参加战争，其中有700多人在战场上死亡，400多人被俘虏。基本上，阎锡山部队收编上来的日本兵全被消灭了。这些留在中国的日本兵们，也万万没有想到，目的没达到，还被当成了炮灰。

极少数在战争中活下来的日本士兵回到了日本之后，状况都很惨。日本天皇以“因个人原因志愿留在中国进行作战”的理由，不给他们恩给。不管是死在解放战争中被当做炮灰的日本士兵，还是回到日本穷困潦倒的士兵，最终的结局就是一个字：惨。