西汉时置县,东魏天平元年(534)筑林虑城。

唐贞观十二年(638)迁址于南1公里处(即今城),筑土城,设4个门:南曰宣化、北曰孝感、东曰忠义、西曰社稷。

元至元五年(1268),知州事李汉卿引天平水自西南入城壕。

元至正十三年(1353),重修城墙,“周长三里三百二十步,高一丈八尺,上宽五尺,基宽一丈二尺。”

元末,县署被大火焚毁。明洪武三年(1370)重修县署,又先后建营署、城隍庙、教谕署。

明弘治十七年(1504)引黄华水入城壕,与天平水汇合。

明嘉靖十五年(1536),避西山水势,将西门堵塞,城上建楼5座,四边建翼楼4座。

明万历元年(1573)改建石城城高三丈五尺,宽一丈,壕长四里二百八十步,深一丈五尺,宽二丈五尺。”东、南、北三门外各建瓮城,上各建官厅一处。

明崇祯八年(1635),在城西、西南、东南各建石台一座,高于城墙,在西、西南台上各建宫厅一座,东南台上建转角楼一座。

清顺治十六年(1659),引桃园水由南关阜民池入南门,过县署注入学宫泮池,流入东门城壕。

顺治十七年(1660),修黄华渠,由北关注入城壕。康熙、雍正、乾隆年间先后在仓口街路北扩建常平仓(即仓库),又修建训导处、育婴堂、监狱。嘉庆八年(1803)至道光五年(1825),建黄华书院。

民国26年(1937)抗日战争爆发,为防止日军盘踞县城,将城墙拆除。民国31年(1942)日军对县城狂轰滥炸,建筑物多被破坏。民国32年(1943)冬,日伪知事李同秀为长期盘踞县城,重建城墙。民国33年(1944)10月,林县城解放,县城人民为建设家园,拆除城墙。

建国以来,经过历年修建,县城规模日益扩大,面貌焕然一新。城区东到龙头山,南到沙岗村,西至李庄村,北到大菜园村,占地面积由1949年的0.46平方公里发展到3.5平方公里。