历史上卫青和霍去病击败匈奴的故事几乎没有人不知道，其实卫青和霍去病能够有这样的成就和声望与卫子夫有着很大的关系。卫子夫只是一个歌女，她凭借自已柔弱美丽吸引汉武帝，凭借自己的聪明当上皇后，歌女当皇后这样的事情在当时严厉的封建等级制度下是很少有的。当然了，这也不是说否认卫青和霍去病的能力。

卫子夫和卫青都是出身在贫困的人家，卫子夫当上汉武帝的皇后后，卫子夫一家人一下子就变成了富贵人家，家里的人一下子都变成了皇亲国戚。卫青自小就有武学才能，头脑比较聪明，汉武帝安排他在朝中当官，他凭借自己的军事才能步步高升。当时的汉武帝很为匈奴问题而苦恼，因为匈奴强悍，汉朝经常以和亲的方式来和匈奴交好，从而避免战争，稳固江山统治。那一年卫青第一次上战场与匈奴决战，汉武帝一共派去四个将领，只有卫青获得了胜利，之后他不断地打胜仗，当上了大将军，在朝中掌握着大权。

当时的卫家炙手可热，得到帝王的宠信，一时间惹来很多羡慕。与卫家人沾亲的几乎都在朝中做起了官。如果把汉武帝比喻成一棵大树，那么卫家都是他的枝叶。可是荣华富贵就像灿烂的烟火，虽然很美丽很诱惑，但是并不长久。因为卫家在朝中的势力过大，不仅惹得朝中大臣的不满和嫉妒，也慢慢受到汉武帝的猜忌。及时卫家势力很大，但是汉朝的天下还是汉武帝的。

卫青为汉武帝巩固王朝，赶走匈奴，汉武帝是很感谢他的，但是卫家过大的权势威胁到了汉武帝，他是一个霸道的帝王，他绝不会允许自己的外戚家这么有权势。汉武帝也是一位比较有谋略的君王，他一方面让卫家帮他建筑王朝，一边也在提防他们。那时霍去病和卫青都很受汉武帝信任，之后汉武帝渐渐地就冷落了卫青，多偏向霍去病。卫青是病死的，他在汉武帝的防范中病死了。卫家开始逐渐走向衰落了。

虽然卫青死了，但卫家的实力还是很稳固的，因为卫家人都在朝中当官。最致命的事是卫子夫失去后位。卫子夫和她的儿子，也就是当时的太子，被人陷害在皇宫里用巫蛊术害人，恰恰汉武帝最讨厌这种手段，卫子夫就被关进幽殿，失去了宠爱。卫子夫是卫家崛起的带动力，她的失势也意味着卫家往后的前途命运令人堪忧。

卫子夫失去后位，汉武帝开始一步步清理朝中卫家的势力。此时匈奴已经不像之前那样能够威胁汉朝，汉朝国力雄厚，经济和军事力量都不容小觑，可以抵挡外族的入侵。汉武帝的对外政策有所缓和，就开始整理朝廷中对他有威胁的力量。他借助巫蛊之术，自导自演残害卫氏家族。盛极一时的卫家就这样陨落了。

卫家落得这样惨的下场终归是因为威胁到了皇权。帝王的威严是任何人都不可以侵犯的，即使是亲人也不行。卫家一家作为臣子，他们是连带关系，在朝堂上的权利不小，且卫子夫还是皇后，她的儿子还是太子，无论任谁看都认为这是对皇权的危机。