汉武帝在病床上下令，任霍光为大司马大将军、金日磾任车骑将军、太仆上官继任左将军、搜粟都尉桑弘羊任御史大夫，让他们在霍光的领导下，共同辅佐幼小的太子，管理好国家大事。
过了一年，汉武帝病危，霍光流着眼泪问汉武帝：“如果陛下有个三长两短，由谁来继承皇位呢？”汉武帝这时明确地说：“立我的小儿子弗陵为太子，由你来履行周公辅成王的职责。去年我送给你的那幅画，你到现在还没有领会其中的意思吗？”
他和皇太后商量，迎立汉武帝之孙昌邑王刘贺为帝。等把昌邑王刘贺迎到宫中后才发现，昌邑王是一个荒淫无道的浪荡公子。霍光又气又愁，自感错立了皇帝，对不起汉武帝。他悄悄地和好友大司农田延年商量怎么办。
于是，汉昭帝也懂得了要治理好国家，就要好好地爱护老百姓。他们两人就开始商量安抚百姓的办法。第一，要各郡县推荐贤良的人才；第二，查办失职的官员；第三，为受诬陷的人申冤；第四，安抚孤独疾苦的贫民。为了发展农业生产，每当春耕时，霍光就派人到各地去查看生产情况，政府把种籽和粮食贷给缺粮少籽的贫民。秋天还下诏：“春天借给贫民的种籽、粮食，不再收回了，今年的田租税也一概免了。”
霍光叩头推辞说：“我才德浅薄，不如金日磾呀。”
霍光平定了这场政变后，请大臣推荐德才兼备的人到朝廷来任官，以补官员的不足。霍光严惩违法犯罪的人，而对百姓却尽量宽和，避免过多地使用武力，让百姓能够休养生息。遗憾的是年轻聪明的汉昭帝，21岁就死了。霍光辅佐昭帝十三年，为朝廷费尽了心，现在昭帝死了，又没有生下太子，该由谁来继承皇位呢？这是朝廷的头等大事。霍光责无旁贷的担当起了这个重任，为稳定西汉大局再次做出了贡献。
霍光在宫中位高权重，引起了上官桀、桑弘羊等官员的不满，他们设计要陷害霍光，但目的没有达到。他们并没就此罢休，还是经常在昭帝面前说霍光的坏话，昭帝不仅不听他们的，反而大发脾气，警告他们说：“大将军是忠臣，先帝临终前托他辅佐我治理国家。他帮我办了很多好事，这是臣民有目共睹的，以后再有人毁谤他，我一定要从严惩处了。”这样上官桀等人想借皇帝的手来除掉霍光的阴谋也破产了。
公元前87年，霍光受汉武帝遗诏，担负起辅佐幼主、治理国家的重任，他工作更加勤恳谨慎，时时刻刻关注朝廷的安危。如有一天，宫中出现了怪异现象，晚上群臣百官都惊恐不安。霍光担心宫中出事，就召见保管皇印的郎官，要他把皇印交出来自己保管。但是，这位郎官也忠于职守，不肯把皇印交给霍光。霍光想强夺皇印，郎官手握剑柄，按住皇印，对霍光说：“要我的脑袋可以，要皇印绝不可能。”
可是他们还不甘心，又心生歹计，策划谋杀霍光然后夺取帝位。上官桀等人密谋由长公主出面请霍光去家中喝酒，在厅的四周埋伏下武士，待长公主向霍光敬酒时，刺杀霍光，进行宫廷政变。但是，纸里是包不住火的，上官桀等人的阴谋诡计还没有来得及动手，就被霍光发现了。霍光将他们政变的阴谋，奏告昭帝，然后把上官桀父子、桑弘羊、丁外人都杀了。燕王刘旦和长公主也畏罪自杀。一生严谨、端庄的霍光在朝廷安危的关键时刻，冷静、果断地帮助昭帝平定了政变，保持了西汉王朝的稳定和政策的连续性。
霍光一贯忠心谨慎，怕田延年的意见不合礼法，所以又和其他两个重要大臣商量，大家一致决定要废掉这个无道昏君。霍光和群臣一起去见太后，陈述废掉昌邑王刘贺的理由，于是只当了27天皇帝的昌邑王就被废黜了。
霍光说：“长子金赏已继承了他父亲的爵位，被封为侯了，这是按制度办事。至于次子金建就不能封侯了。”
霍光为人深沉、镇静，根本没去想汉武帝送给他那张画的用意是什么。
接着他又陈述了不能封金建为侯的道理，终于把汉昭帝说服了。
田延年对他说：“大将军是国家的中流砥柱，既然知道昌邑王不配做君主，那就禀报太后把他废掉，另选一个贤明的人当君主好了。你应该向商朝的伊尹学习（伊尹曾立太甲为君，后又因太甲残暴而关押太甲三年，自己亲自主政，待太甲改正后又将政归还太甲）。做一个安定汉室社稷的重臣，你也就是汉朝的伊尹了。”
善于识人、用人的汉武帝认为，朝中大臣只有霍光可担此重任，所以就想把国事托付给霍光。汉武帝想起了古代周公辅佐年幼成王的故事。周公曾背着小成王临朝，会见诸侯继承大统。汉武帝让人根据这个故事，画了一张“周公背成王朝诸侯图”送给霍光。这是用图来暗示霍光将来要像周公辅成王一样来辅佐幼主弗陵。
霍光字子盖，西汉河东平阳（今山西临汾西南）人，是名将骠骑将军霍去病的同父异母兄弟，十几岁时跟随哥哥霍去病来到京城。霍去病先保举他入宫，担任宿卫宫廷的郎官。因为霍光为人端正，办事机灵严谨，深受汉武帝的喜爱。后来逐步提升为侍中（在内廷侍卫皇帝）。过了几年，霍去病死了，汉武帝就提拔他担任光禄大夫（皇帝身边的官员），经常伴随皇帝车驾出行，回宫时就在皇帝的左右侍奉。
霍光就这样在汉武帝身边工作了二十多年，平日为人忠厚可靠，端正严谨，办事又一贯小心谨慎，从来没有什么闪失。在他担任侍中时，谨记自己的职责就是侍卫皇帝，所以他每次出宫、下殿时，起止步都有固定的点，有人曾暗中跟随做出记号，事后再算丝毫不差，可见他办事的周密、审慎。这些好的品质得到了汉武帝的嘉奖。
霍光立即正色地说：“无功者不得封侯，这是高祖皇帝立下的规矩，皇上怎么好轻易更动呢！”
汉武帝七十多岁时，已经体弱多病了。又因太子卫在“巫蛊之祸”中自杀身亡，太子虚悬未定。汉武帝自知活不长了，对身后事非常忧虑，其中头等大事就是要早立太子，免得死后国家大乱。当时汉武帝还有三个儿子，燕王刘旦和广陵王刘胥是亲兄弟，他们平日骄横不法，不能立为太子。可是小儿子弗陵还只有七岁，汉武帝却想立他为太子。因此就想先为年幼的太子物色一个忠实可靠的大臣来加以辅佐。
昭帝即位的第二年，辅政大臣、车骑将军金日磾病故。他有两个儿子叫金赏、金建，和汉昭帝是好朋友，经常在一起玩，有时还住在一起。汉昭帝看他们的父亲死了，就想按私情来照顾他们。昭帝与霍光商量说：“金家现在只有两兄弟，不妨都封他们为侯吧！”
第二天，汉武帝就死了。太子刘弗陵继承皇位，他就是汉昭帝。
昭帝死后，朝中许多大臣主张立他的同父异母的哥哥广陵王刘胥为帝。但是霍光知道因刘胥品行不端，所以汉武帝才不选立他。现在由自己辅政，反而选立一个失德的皇帝，怎么对得起死去的汉武帝呢？霍光只得再冒得罪许多大臣的风险，决定另选立继承人。
霍光乘机教导昭帝要如何才能当一个好皇帝，并对昭帝说：“百姓至今还在想念着汉孝文帝和汉景帝。”汉昭帝不大明白就问：“百姓为什么想念他们？”霍光说：“因为他们待老百姓好。”
霍光作为辅命大臣，在处理朝廷废立君主的大事上，起到了决定性的作用，稳定了国家的大局。宣帝即位后对霍光又进行了嘉奖。霍光依然忠心耿耿地辅佐年轻的宣帝，教他如何才能做一个贤明的君主。汉宣帝在他的辅佐下，继续遵照“与民休息”的方针来制定政策，处理国事，使西汉王朝再次兴盛，史称“昭宣中兴”。这和霍光从汉武帝末年到昭、宣两朝辅政二十余年的功绩是密不可分的。地节二年（公元前68年），三朝元老霍光病逝。汉宣帝和皇太后亲自为霍光主持丧礼，并用极其隆重的礼仪，把这位忠心辅政安定社稷的重臣，埋葬在茂陵汉武帝陵墓的旁边，以示对他的尊重。
年幼的昭帝不把霍光的话当回事，笑着对霍光说：“我是皇帝，想要封他们为侯，还不是我一句话，这又不是什么了不起的大事。”
贫苦百姓接到朝廷的诏令后，喜出望外地奔走相告，说；“又一个汉文帝来了。”百姓都知道这一切都是大司马大将军霍光辅佐朝政给百姓带来的实惠，因此他的声望随之增高。
当时霍光虽然碰了钉子，很生气，但是事后，霍光对这位郎官忠于职守的精神很钦佩，第二天就下令给这个郎官提升两级。他这种不计私怨、秉公办事、赏罚分明一心为朝廷办事的精神，受到朝中官员的敬佩，威望日渐提高。
封建朝廷不可一日无君，现在昌邑王被废掉了，又怎么才能选择到一位贤明的君主呢？忠心辅政的霍光，日夜为此焦急不安。光禄大夫丙吉上书给霍光，推荐寄存在民间的汉武帝的曾孙刘病已，说这位皇曾孙有德有才，可接回宫中继承皇位。霍光和大臣们商量后，禀报皇太后，就把刘病已接回宫中，拥立为皇帝，他就是有名的贤君汉宣帝。
