从霍光的身世来看，他和霍去病是同父异母的兄弟，霍去病的母亲是卫子夫皇后的亲姐姐，要说卫霍家族没有丝缕联系也说不过去。武帝因自幼外戚的协助才能顺利登基，以至于一直信赖外戚力量，于是逐渐形成以霍去病和卫青为首的霍卫、外戚集团。史料记载霍去病的家族意识薄弱，家族荣辱的企业文化没做好，以至于很难形成强有力的势力，相比之下，卫氏家族的势力则不容小觑。从“巫蛊之乱”之后，卫家彻底败亡，按理说，如果卫霍集团存在，且与霍光关系甚密，怎么霍光没有受到牵连，且越来越被重用，还被武帝选为昭帝少主辅政大臣。此外，霍光本人是个极谨慎严谨之人，在一系列复杂的关系中显得较为本分和中立，所以也能明哲保身。

到了昭帝、宣帝时期，霍光掌权时间久了，霍家这种外戚力量在朝中更加根深蒂固，盘根错节。特别是昭帝时期，其对霍光的继续信任和授以政治权力，使得霍光有了更加显著的政绩。昭帝早逝，江山易主之际，霍光的手中的权力显得尤为关键，扶持怎样的后主对他来说意味着炙手可热的香饽饽是否还在手里。但选来选去，武帝的封王的儿子中没有贤明之人，有人谏言称可考虑帝孙，所以立了昌邑王刘贺。但此时的霍光长期权力的熏陶下已有了私心，他需要立一位听话的主继承皇位。但刘贺偏偏不是这样的。

在做昌邑王的时候，刘贺就培养了一大批亲信和谋臣，入京继位的时候，浩浩荡荡，大摇大摆，带着自己的人呼啸而至。霍光当然不高兴，政权向来在我手中，你刘贺一来就带着一批自己的谋臣，那以后还有我的位置吗？再加上刘贺确实有点缺心眼，来就来了吧，还留下放纵无道的话柄。霍光因此可以理所当然地“忧心”了，于是和亲信商量，向太后建议，要废除刚刚上位27天的刘贺，理由是昏庸无道，不适合做皇帝。

刘贺才继位27天，就能断然判定其做不得皇帝，且废帝的手段也是闪电般的，惹得刘贺都吓了一跳：“徐之（慢慢来好吗），乃何惊人如是！”一向谨慎严谨的霍光，在此事的态度上未免有点太过于着急了，除了存有私心，还能怎么解释呢？刘贺下台之后，霍光急匆匆地以惑主之罪，将刘贺手下众臣杀光了，也能说明这一点。

霍光废了刘贺之后，愿意立刘病已为帝，想想也是对他自己有好处。刘病已是卫太子刘据的孙子，“巫蛊之乱”后，在监狱里长大，昭帝大赦天下后他充其量也是个落魄皇嗣，混迹民间生存，没后台，没势力，没经验，重要的是，还没自信。刘病已侥幸继承皇位，连做梦都没想到。原本从自身客观条件上说，刘病已就真的比刘贺强吗？那倒未必。只是没有实力的刘病已一开始选择了韬光养晦，百般隐忍顺从，这真是对了霍光的胃口。

对于霍光来说，愿意扶持刘病已，若是因刘病已是卫太子后代，多少跟卫霍集团扯上关系，时过境迁，意义也不大，对霍光来说，最大的意义就是自己的权力不转移。这种私心才是一种升级。

所幸宣帝明白这一点，隐忍八年才重获政权。当然，就算是有私心，霍光也是辅政三朝的有功之臣，社会功绩得承认。