1937年11月18日下午，聂荣臻率领军区领导机关抵达阜平城。到达阜平城的当晚，聂荣臻同公开身份为山西牺盟会成员、实为中共地下党员的宋劭文、盂县县长胡仁奎以及冀、察两省的有关人员，就成立全区的政权机构问题，一直商量到下半夜。聂荣臻说，前几天刘少奇复电指示，同意立即筹备成立晋察冀边区政府。只有有了抗日政府，制定了有利于抗日的各项正确政策，才能发动群众抗日，稳定社会秩序，改善人民生活。

12月5日，阜平城里挂起了“晋察冀边区军政民代表大会筹备处”的牌子。在不到1个月的时间里，晋察冀地区有39个县表示愿意参加军政民代表大会。1938年1月10日，是阜平山城有史以来最为盛大的节日——晋察冀边区军政民代表大会在这里隆重开幕。聂荣臻作为149位代表中的一员，与各抗日党派、各抗日阶层和团体的代表、少数民族的代表以及来自五台山的和尚、喇嘛代表欢聚一堂。代表会议共开了6天。

聂荣臻、刘奠基、吕正操、李杰庸、孙志远、张苏、娄凝先等当选为边区政府委员，宋劭文、胡仁奎分任正副主任委员，老乡政府在阜平成立了!边区的老百姓奔走相告。可是成立边区政府这件大好事，却遭到两个方面的反对。党内，王明以中共中央长江局的名义来电，说晋察冀这样做会“刺激”国民党，对全国统一战线的工作将发生不良影响。聂荣臻致电朱德指出：按王明意见行事，我们当放弃独立自主方针，这正符合阎锡山的要求。这样，我们便为他人作嫁衣了。后来，王明的错误观点受到了党中央的批评。党外，阎锡山反对。

边区政府成立后，坚决推行减租减息政策，作为发动群众的主要措施。不多久，工、农、商、妇女、青年组织都成立了各种领导机构。其中农民救国会的会员达57万多人。聂荣臻看到这一切自然很高兴。1938年2月，彭真到达晋察冀，代表北方局领导晋察冀边区的工作。3月26日，中共中央决定：彭真协同聂荣臻指导晋察冀、平汉路东以及平、津两地党的工作。同年11月中共中央政治局决定：以彭真为书记，聂荣臻、关向应、程子华为委员，组成中央晋察冀分局。

1941年1月彭真回延安，由聂荣臻代理分局书记。一到敌后，聂荣臻始终抓紧抗日武装力量的建设。收编杂色武装，是晋察冀武装力量发展的一个重要方面。在抗战初期，聂荣臻先后收编的杂色武装共有三万多人。发展抗日武装，聂荣臻更加重视发动群众参加八路军。经过努力，到1938年底，晋察冀军区的武装部队发展到近10万人，另有民兵等人民武装10万多人。在一年的时间，由3000人的武装，发展到这样的规模，里面凝聚了聂荣臻的大量心血。