晋阳城始建于公元前497年，三家分晋之后，遂成为赵国的都城。秦始皇统一天下后，分天下为36郡，设置太原郡，郡治晋阳。

汉朝在全国设十三州，并州刺吏部设治晋阳，这也是太原称并州之始，太原简称“并”即来源于此。是时，太原为全国十三州治所之一，闻名遐迩。

东晋十六国时，晋阳先后被刘渊、石勒、慕容燕、苻坚占据，始终保持着“霸府”的地位。隋唐年间，李渊父子驻守太原，因晋阳古有唐国之称，李氏定都长安后，遂以“唐”为国号。因此，太原也是唐文化的发源地，与京都长安、东都洛阳并称“三都”。

五代十国时期，后唐、后晋、后汉、北汉，或发迹于晋阳，或以此为国都，一时间太原名声显赫于全国，被当地百姓传为“龙城”。

在宋朝建立之初，为使宋王朝能长治久安，而不致成为继五代后的第六个短命王朝，北宋王朝除了制定了一系列的政策方针，大力实施“强干弱枝”政策之外，还致力于结束五代十国的分裂割据局面，特别是当宋太宗听说，当时仍被北汉统治的晋阳出过好几个皇帝，是个“龙城”之后，更是亲自带兵攻下太原城，并火烧太原城，再水灌太原城……

979年，宋太宗亲率大军，来到太原城下指挥攻城。晋阳城高大坚固，使得宋军损失惨重，内外马步军都军头王廷义，殿前指挥使部虞侯石汉卿阵亡，大将李汉琼、荆嗣、呼延赞、韩起重伤，以下将士伤亡者更多不胜数。当时，主要是由于宋已统一中原，平定南方，倾全力攻晋阳一城，晋阳孤城难守，北汉主才不得已降宋。自此，北汉十州全部归入宋的版图。五代十国时期最后一个分裂的小王朝被消灭了。

太原城被攻破之后，宋太宗赵光义决定平毁太原城，这是出于多方面考虑的。首先是晋阳城城池坚固，易守难攻，宋军强攻晋阳造成损兵折将，损失惨重，故宋太宗决心彻底平毁晋阳城以消心头之恨。

其次是当时的李唐是从晋阳起兵而夺取天下，到唐末五代一些割据者又据晋阳争夺天下，或抗衡中原王朝，望气者认为晋阳有王者之气，这更是封建帝王所忌惮的。

再次是宋太宗继位时，多有道教人物相助、道教附会天象认为：宋起之地为归德 (今河南商丘市)属于“商星分野”，而太原则属于“参星分野”，自古参商不相见，这样，当中央政权强盛时，太原地区最后才服从，而当中央政权衰弱时，太原则将最先叛乱，因此，不宜把太原列为方镇，应当降低它的等级。

鉴于上述原因，宋太宗决定平毁太原城，让居民迁往汾水东的新城，把新设立的并州府迁到榆次。居民出城后，宋太宗下令放火，“万炬皆发，宫寺民舍，一日俱尽”。

第二年四月，宋太宗又封堵汾水、晋祠水，灌入太原。古太原城经此火烧、水灌，变为一片废墟。往日被誉为“锦绣太原城”，并已逾千年的大都会便不复存在了。

太原旧城被毁后，宋太宗又命将太原治所从榆次迁到唐明镇(即今太原市)。逃出城的百姓逐渐聚集到这里定居下来。慢慢恢复了往日的繁荣景象。

据说赵宋还曾征伐数万人削平晋阳北部的系舟山山头，号称为“拔龙角”。在新修太原城街道时，也都筑成丁字街，取其谐音，“钉”破“龙脉”，使太原不再出现“真龙天子”，危及赵宋天下。

金代诗人元好问《过晋阳故城书事》在讲到此事时说：“南人鬼巫好机祥，万夫畚铺开连冈。官街十字改丁字，钉破并州渠亦亡。”