1937年平型关大捷后9月30日，聂荣臻和林彪致电毛泽东等：建议由一一五师直属队率领部分兵力到阜平地区创建抗日根据地。10月20日，毛泽东致电周恩来等指出：敌占太原后，战局将起极大极快之变化，拟作以下部署：留一一五师独立团在恒山、五台山地区坚持游击战争，一一五师主力转移到汾河以西吕梁山脉；总部转移至孝义、灵石地区。据此，八路军总部当即决定，聂荣臻留守五台山地区，创建晋察冀抗日根据地。多年来，聂荣臻一直在党中央和毛泽东身边工作。这次要孤悬敌后，独当一面了。聂荣臻知道任重如山，非同一般。

主力走后留给他的部队，只有师独立团、骑兵营、八路军总部特务团一部，加上各地方工作团，也不过3000人。在晋、察、冀三省交界这样一个广阔的地区，面对四周强大的敌人，这点力量是很单薄的。必须使部队有一个很大的发展才行。而要扩大部队打开局面，最主要的问题是缺乏干部。第二天，他来到总部，希望帮助解决干部奇缺的问题。总部当即决定，将唐延杰、舒同、王宗槐留在晋察冀军区。在此前后，一一五师政治部主任罗荣桓对聂荣臻非常支持，挑选了一些人留下来。人数虽少，但一个个都很得力。罗荣桓还留下了师随营学校。师教导大队队长孙毅自告奋勇要求留下办学，培养干部。聂荣臻对这一切深感满意。从此，聂荣臻和留下的人员被隔绝在敌后。

深秋时节来临，五台山区有时细雨霏霏，有时大雪纷飞，天气一天冷似一天，花草枯萎，树木凋零。聂荣臻和他的战友们几乎天天研究，在艰难处境中，究竟应该怎样开展工作。他们围着火盆，面对地图，商谈着创建晋察冀抗日根据地的各种问题。聂荣臻认为，兵力太少，这是最大的问题。他说：要创建根据地，必须首先发展武装。没有武装，一切都谈不上。

物资奇缺是晋察冀面临的又一大困难。他说：我们经过市镇，市镇是萧条的，走过县城，县城是空虚的，留下的多是些老头老太太。但是，要解决物资方面的困难，需要发动群众；要补充兵员，扩大武装，也离不开群众。所以，如何发动群众，就成为我们创建根据地成败的关键。经过讨论，大家认识统一了，创建根据地的关键是要扩大武装和发动群众。

1937年11月7日，晋察冀军区在五台县石咀的普济寺宣告成立，聂荣臻任司令员兼政委，唐延杰任参谋长，舒同任政治部主任，查国桢任供给部长，叶青山任卫生部长。11月13日，经八路军总部批准，聂荣臻发布了成立4个军分区的命令：第一军分区，司令员杨成武，政治委员邓华；第二军分区，司令员兼政治委员赵尔陆；第三军分区，司令员兼政治委员王平(后陈漫远为司令员)；第四军分区，司令员周建屏，政委刘道生。

11月8日，太原失守后，中央北方局派了大批知识分子来到五台山，其中有参加革命较早而年仅25岁的黄敬、邓拓等。聂荣臻热烈欢迎他们，说：毛主席告诉我们华北以国民党为主体的正规战争已告结束，以八路军为主体的游击战争转入了主导地位。敌后的斗争将是长期的、艰苦的，要有啃树皮吃野菜的决心，你们得有这个思想准备哟!才华横溢的邓拓告诉聂荣臻，他来五台山之前，已经学会了识别和采集多种野菜，为的是日后困难时能借以充饥。聂荣臻用赞赏的目光看着邓拓，高兴地开了个玩笑：好啊，五台山欢迎你们这样的野菜书生。

时过不久，宋劭文找到聂荣臻说，阎锡山来了电报，大发雷霆，说他在五台县河边村的家被八路军抄了，让宋劭文赶紧去调查处理，并向八路军提出抗议。经过调查，发现了是八路军的民运工作人员带着区里的干部干的。后来接到越来越多的报告，诸如发生了打土豪的事。聂荣臻要舒同负责立即开展抗日民族统一战线的教育，他说：通知他们立刻停止这种盲目的做法，否则将会削弱抗日营垒的社会基础，扩大敌人的力量，使我们吃大亏。适应新的历史条件，最大限度地把全民族以及一切赞成抗日的各阶级各阶层团结起来共同抗日，是当务之急。告诉那些头脑发热帮倒忙的同志们，不管是地主还是富农，只要他愿意抗日，我们都要团结。经过教育，原先摩拳擦掌的人都能闻过即改，抄家游斗土豪的行为被制止住了。