刘虞,字伯安,东海郡郯县(今山东郯城)人,是东海王刘恭之后。刘虞自幼聪敏好学,年纪轻轻就精通五经,被乡民们推举为孝廉,不久,又被任命为幽州刺史,是当时最年轻的刺史之一。幽州一带和北方少数民族生活的地区毗邻,刘虞到任之后,精心治理,广种多收,各族百姓不愁吃穿,安居乐业很拥戴刘虞。诸如鲜卑、乌桓、夫馀、秽貊等当时的少数民族,都一年四季给东汉王朝晋献贡品,以示臣服,没有一个少数民族敢骚扰北方边境。老百姓感其恩德,编着歌谣传颂赞扬刘虞。汉灵帝中平元年(184),张角、张宝、张梁兄弟领导的黄巾大起义在河北一带爆发,势如破竹,力量强大,接连攻下冀州等郡城,严重威胁着东汉中央政权。

汉灵帝为稳定民心,派刘虞为甘陵(国治甘陵,今山东临清东北)相,安绥抚慰百姓,他本人清廉俭朴,为下属树立了榜样,属吏也不敢胡作非为,因此颇有业绩,不久之后又被提升为宗正。为镇压黄巾起义、巩固摇摇欲坠的东汉政权,汉灵帝又派车骑将军张温率领军队讨伐河北的黄巾将领边章等。张温让乌桓族人组成的三千骑兵为先锋,进攻边章带领的黄巾军队,但是张温没有将粮草及时送到前方,鸟桓人饥饿难忍,无心打仗,都叛变逃回到乌桓人聚居的塞北一带了。张温率领的后军在黄巾军的强烈攻势下,溃不成军,一路败逃,很快缩回洛阳。

这时候,各地军阀眼看天下大乱,短时间内无法恢复太平,纷纷图谋起兵,割据地盘。原中山国(国治卢奴,今河北定县)张纯和原泰山(郡治奉高,今山东泰安东北)太守张举私下闲议,张纯说:“现今乌桓人叛逃,凉州一带又有黄巾军起义,朝廷没有力量前去消灭。听说洛阳又有一孕妇产下怪胎一个身子长着两个头,人们传说这是汉王朝气数已尽、天下即将出现两个皇帝的征兆。如果你我同心协力,共率乌桓人起事,就可以建功立业,夺得天下,荫妻封子了。”张举一听有利可图,欣然应允。

中平四年(187年),张纯、张举带领招募来的兵勇和乌桓人结盟,共同起事,首先攻打蓟城(今北京),很快就占领了蓟城。然后以蓟城为根据地,接连占领附近的一些郡县,每到一地都烧城池,掠百姓,先后杀死或俘虏了护鸟桓校尉箕稠、右北平太守刘政、辽东太守阳终等,军队日渐壮大,发展到10万士兵,屯扎在肥如县(今河北迁安东北)一带。张举自称为“天子”,封张纯为“弥天将军安定王”,并往各个州郡送达信件,言称张举将代汉而立,汉灵帝应该让帝位于张举,才顺乎天意合乎民心,公卿大臣都要来肥如迎驾。

张举又派乌桓峭王率领5万步骑兵,进攻青州、冀州,攻入清河(国治甘陵,今山东临清东北)、平原(郡治平原,今山东平原南),杀死许多官吏和平民百姓。一时间张举在北方占领大部分州郡,成为东汉王朝的心病,严重威胁着东汉政权。东汉王朝决定派军队讨伐张举,消灭叛乱。因为刘虞的威信一向很高,光熹元年(189),汉灵帝重拜刘虞为幽州牧,准备收复失地,一举消灭叛军刘虞到达蓟城之后,减收百姓赋税,招募军队,精心训练,在百姓中广泛树建威信,然后逐步展开攻势。首先采用攻战术,派人游说乌桓峭王,陈明利害,使其退回塞外,不再为虎作伥,同时许重金悬拿张举、张纯。二张的军队本是临时凑集起来的,人数虽众,但各怀心思,听说东汉军队前来讨伐,纷纷逃跑,所余无几。

张举、张纯阻挡不住,见大势已去,慌忙逃向塞外,未来得及逃跑的军队都投降了刘虞。张纯在逃跑的路中被其豢养的门客王政杀死,头颅被送到刘虞军中。这样,没有费多大力量,就收复了北方失地,刘虞名声鹊起。汉灵帝授予刘虞太尉之职,封为容丘侯。就在这年,东汉朝廷发生了一系列重大变故。先是灵帝病死,少帝刘辩即位,接着是袁绍诛杀宦官,董卓的并州兵开进洛阳,废少帝,另立刘协,是为献帝。董卓掌握了东汉中央政权,为笼络人心,扩张势力,派遣使者授予刘虞大司马之职,并晋封为襄贲侯。第二年,又下令让刘虞到洛阳,代替袁隗为太傅。可惜道路遥远,关山阻塞使者未能到达。

这时刘虞在北方率领军队驻防,粮响开支极大,惨淡经营,每年都要从青、冀两州借用赋税二亿多钱,才能供给军队。加之北方连年战争,许多土地都荒芜了,百姓到处流浪乞讨,终日不得温饱,田亩荒芜,民不聊生。刘虞采取有效措施,督促百姓进行农耕,广种粮食。两三年之后,老百姓都不愁吃穿,安居乐业,市场上谷才卖三十文钱一石。青、徐一带的百姓为躲避黄巾之难而逃向北方,投奔刘虞的有一百多万人。

刘虞下令将他们收留下来,分给田亩土地,发给生产工具,备加安慰抚恤,使其安心生产,丰衣足食,他们都忘了自己是移民,不愿再回故土了。刘虞个人虽然身为封疆大吏,用度无虑,但仍十分节约,着布衣,穿草鞋,粗茶淡饭,很少吃肉。那些十分奢侈的富裕大户,看到刘虞尚且如此,也都再不敢奢侈浪费了。