没想到昌邑王刘贺是个纨绔子弟，生活奢靡，还在为汉武帝服丧期间就外出游玩打猎，下属百般劝阻都没有用。当刘贺得知上官皇太后宣他进宫登基后，越发变得嚣张起来，他在去长安的路途中，命手下到处抢夺百姓的钱财和粮食，看到漂亮的姑娘也抢过来。刘贺还让家属穿着官吏的衣服，纵容他们做出违法害民的事情。霍光和大臣们了解事情后都觉得不能让刘贺胡闹，照这样下去，汉朝非毁在他手上。于是霍光召集朝廷所有大臣和博士，商讨废黜刘贺，另立新帝。因为废帝是件很重大、很严肃的事情，谁也不敢妄下定论。看到大家都不发表意见，一个名叫田延年的大臣急了，他抽出佩剑指着霍光说：“武帝那么信任你，让你辅佐幼主掌管汉朝，要是汉朝因为刘贺而走向灭亡，你以后怎么有脸面去见武帝！”大家一听，顿时明白了其中的利害关系，纷纷表示同意废黜刘贺。霍光便和几位学识渊博的大臣共同写了一份奏章，请求上官太后批准废掉刘贺，另立新君。就这样，进宫才27天的刘贺又回到了自己的封国。
公元前68年，霍光去世。
一个国家采取什么样的治国政策很重要，但管理国家的人也很重要，如果国家的统治者心术不正的话，就会连累整个国家，甚至有灭国的可能。所以，确立一个好的皇帝对汉朝来说至关重要，霍光作为辅政大臣，责任自然比其他人更重。当他发现昌邑王刘贺的恶习可能致使汉朝灭亡后，宁可自己背上骂名，也要保证汉朝的安危。霍光对国家的忠诚有目共睹，他及时废黜了刘贺，选择了汉宣帝，完好地保护了刘家的江山。
霍光是河东平陽（今山西临汾）人，是西汉著名将领霍去病同父异母的弟弟。公元前119年，骠骑将军霍去病北上攻打匈奴，得胜回朝的时候经过平陽，便把霍光带去了长安，把他安置在自己军营中担任郎官。霍光不负哥哥的期望，做事严谨有序，很快升任为诸曹侍中，参与军中大小事情的安排。霍去病去世后，汉武帝对霍光十分赏识，封他为奉车都尉，负责皇帝的安全，并且享受光禄大夫的待遇。只要汉武帝出行，霍光必定伴随左右，在和皇帝的相处之间，霍光渐渐懂得如何在宫廷斗争中周旋。
之后，霍光找到了生活在民间的刘家子孙刘病已，他是汉武帝和卫子夫的曾孙，当时已经十八岁了。刘病己登基后就是汉宣帝。宣帝依旧请霍光帮忙处理朝政事务，还赏赐了很多东西给他。
公元前87年，汉武帝驾崩，太子刘弗陵即位，是为汉昭帝，霍光担任辅命大臣，连同车骑将军金日磾、左将军上官桀、御史大夫桑弘羊等人共同处理朝中事务。当时的昭帝只有八岁，霍光又是汉武帝亲自册封的辅政大臣，所有朝廷事务都经由霍光之手才能裁决。
公元前85年，为了表彰霍光忠心为国，汉昭帝封他为博陆侯，他的外孙女在盖长公主的帮助下进宫当了皇后。原来霍光的女儿嫁给了上官桀的儿子上官安，上官桀和上官安想在朝廷中掌握大权，就巴结盖长公主，想让自己家的女孩做皇后。盖长公主得了好处，当然想尽办法把上官安的女儿送进宫，霍光本来不同意，但众人极力坚持，而且皇后还是自己的亲外孙女，霍光只好答应了。上官安因此被封为桑乐侯，上官父子为了报答盖长公主的恩情，几次向霍光请求给公主身边的人安排些差事，霍光认为官吏应该有真学实才，不能凭权势关系得到职位，因此拒绝了他们的请求。上官父子感到十分尴尬，盖长公主也很气愤，但碍于霍光在朝廷中的地位，他们不敢把心里的怨恨发泄出来。
桑弘羊也对霍光非常不满，虽然他也是辅政大臣，但汉昭帝只听霍光的话，而且霍光和桑弘羊总是意见相对。于是桑弘羊和上官父子结为一派，联合盖长公主密谋造反，打算废掉汉昭帝，立燕王刘旦为帝。正当他们在紧张地策划时，有人把事情秘密地告诉了霍光和汉昭帝，两人一听勃然大怒，下令诛杀上官父子和桑弘羊全族。盖长公主和燕王知道大势已去，相继畏罪自杀，上官皇后因为年纪尚小，又是霍光的外孙女，就没有被废黜。
公元前91年，整个汉朝都笼罩在紧张的气氛中，太子刘据因为巫蛊事件，举兵失败后自杀，谁是下一个皇位继承人就成了其他皇子的头等大事。暗地里的斗争渐渐演变成明目张胆的争夺，汉武帝为此也十分头疼。最后，汉武帝看中了小儿子刘弗陵，决定立他为太子，为了保证其他皇子日后不会对太子造成威胁，武帝削弱了刘旦、刘胥的势力，还赐死了太子的母亲钩弋夫人，以防止外戚专权。太子人选确定后，汉武帝命人画了一幅周公背负周成王的画作赏赐给光禄大夫霍光，希望他能像周公一样，忠心耿耿地辅佐幼主。
从这以后，朝廷几乎被霍光一个人垄断了。在他的权力光环之下，很多亲戚也得到了官职，霍氏家族越来越兴旺。
汉武帝为什么偏偏要霍光来扶持太子呢？
公元前74年，汉昭帝驾崩，没有留下子嗣，霍光召集大臣们商议该立谁为皇帝。汉武帝还有个儿子，广陵王刘胥，不过汉武帝在位时并不喜欢他，大臣们便没有考虑让刘胥即位。汉武帝还有一个孙子，昌邑王刘贺，于是大家拥立刘贺登上皇位，霍光仍然担任辅政大臣。
