後元二年（前87）二月，漢武帝於五柞宮病篤，大臣霍光問後事，武帝曰：“立少子，君行周公之事！”封光為大司馬、大將軍，金日石單（匈奴休屠王子，人漢為侍中駙馬都尉、光祿大夫）為車騎將軍、太仆，古代風景畫鑒賞上官桀為左將軍，搜粟都尉桑弘羊為禦史大夫。武帝死，皇太子弗陵嗣位，年八歲，是為孝昭皇帝。霍光、金日石單、上官桀***領尚書事，輔政。
先是，武帝欲立少子弗陵為太子，以其年稚，母少，恐女主獨居驕蹇，重演呂後專權故事，乃使黃萬畫周公負成王朝諸侯圖以賜奉車都尉霍光。後數日，武帝令人引持弗陵母鉤弋夫人送掖庭獄，賜死。
霍光受詔後，朝中政令，悉由所出，天下人莫不想望其風采，壹時間權傾朝野。然光為人沈靜詳審，資性端正，為朝廷內外所敬重。昭帝始元二年（前85）春，霍光被封為博陸（今河北蠡縣南）侯。有人建言霍光：“今將軍當盛位，帝春秋富，宜納宗室，又多與大臣***事，反諸呂道（壹反諸呂排斥劉氏宗室專權而亡的做法），如是則可以免患。”霍光采納建言者之議，乃於宗室中留意選擇可委以重任者，遂拜楚元王孫辟疆及宗室劉長樂皆為光祿大夫，辟疆並為長樂官衛尉（漢九卿之壹）。元風元年（前80）冬十月，霍光以前朝舊臣尚書令張安世（故禦史大夫張湯之子）誌行純篤，乃啟奏用安世為右將軍兼光祿勛，以作為自己的副貳。又以杜延年揭發燕王（昭帝兄）、蓋長公主、上官桀父子、桑弘羊謀反，有忠節，擢為太仆（九卿之壹），右曹給事中（加官，掌顧問應對，得出入宮中）。光持刑罰嚴，延年常輔之以寬，得收寬嚴相濟之效。自平燕王叛後，霍光威震海內。“昭帝既冠，遂委任光，訖十三年，百姓充實，四夷賓服”。
元平元年（前74）夏四月，昭帝死，無嗣。當時武帝之子只有廣陵王劉胥尚存，霍光與大臣商議立嗣問題，群臣均主張立廣陵王。但廣陵王好倡樂逸遊，動作無法度，霍光內不自安。適有郎官上書言：“周太王廢太伯立王季（太伯之弟），文王舍伯邑考（文王長子）立武王，唯在所宜，雖廢長立少可也。廣陵王不可以承宗廟。”郎言正合霍光之意，於是霍光以郎所上書交丞相楊敞等傳閱，當日奏請皇太後，詔遣行（代行）在鴻臚（漢九卿之壹）事少府史樂成、宗正劉德、光祿大夫丙吉、中郎將利漢等迎接昌邑王劉賀武帝子昌邑哀王髆（bó博）之子，乘七乘傳，來到長安官邸。
原來昌邑王劉賀，也是壹個狂縱無節的王子，武帝喪時，劉賀仍遊獵不止。王國屬官王吉、龔遂等均曾切諫，劉賀或置若罔聞，或當時接受，其後復放縱自若。及征書至，夜漏未盡壹刻，但劉賀於翌日中午始啟程，於申時（下午三至五時）急行至定陶，行程壹百三十五裏，侍從者馬死相望於道。中尉王吉奏書戒之曰：“今大王以喪事征，宜日夜哭泣，悲哀而已，慎毋有所發（謂興舉眾事）！大將軍（指霍光）仁愛、勇智、忠信之德，天下莫不聞……布政施教，海內晏然，雖周公、伊尹無以加也。……臣願大王事之、敬之，政事壹聽之，大王垂拱（垂衣拱手，無為而治）南面而已。”
昌邑王壹路不忘遊樂，車駕行到濟陽（今河南蘭考東北），派人求長鳴雞（自南詔來，形矮而大，鳴聲圓長，壹鳴半刻），以為玩好。過弘農時，遣大奴名善者用衣車（有遮蔽的車）載女子。至湖（即湖縣，在今河南靈寶西北），長安使者見此情景，召昌邑王國相安樂進行責備，安樂將此事告知龔遂，龔遂入見昌邑王，問有無其事，昌邑王謊稱“無有”。龔遂說：“即無有，何愛壹善（即大奴名善者）以毀行義，請收屬吏（將大奴拘捕付吏審問），以湔灑大王！”於是揪住大奴善交給衛士長依法懲辦。
劉賀來到霸上（今陜西西安市東），大鴻臚郊迎，侍從奉上乘輿（皇帝坐的車駕）。昌邑王命太仆壽成駕車，郎中令龔遂為參乘（亦作驂乘，即陪乘）。車駕將至長安未央宮東闕（宮門），龔遂對劉賀說：“昌邑吊哭帳在是闕外馳道北，未至帳所，有南北行道，馬足未至數步；大王宜下車，向闕西面伏哭，盡哀止。”劉賀按照龔遂的囑咐盡哭如儀。六月，昌邑王接受皇帝璽綬，即皇帝位，尊皇後曰皇太後。
昌邑王立為天子後，淫戲無度。原昌邑官屬皆被征至長安，往往超擢拜官。昌邑國相安樂遷升長安宮衛尉（漢九卿之壹）。龔遂見此情景，甚為憂慮，乃流涕對安樂說：“王立為天子，日益驕溢，諫之不復聽。……君陛下故相，宜極諫爭！”龔遂和太仆丞張敞均以“國輔大臣未褒，而昌邑小輩先遷”為非，勸其“詭（反也）禍為福，皆放逐之”！劉賀不聽。霍光聞知昌邑王“所為孛（違背也）道”，心中憂懣，私下向所親故吏大司農田延年間計。田延年提出要霍光建自太後“更選賢而立之”。並援引伊尹相殷，廢太甲以安宗廟故事作為根據。霍光乃古代人物像薦舉延年為給事中（將軍、列侯、九卿以至黃門郎、謁者等的加官。均給事殿中，備顧問應對，討論政事），與車騎將軍張安世密謀對策。計議已定，霍光使延年先報知丞相楊敞，楊敞驚懼，不知所應，在夫人啟示下，乃許諾延年：“請奉大將軍教令！”霍光遂召集丞相、禦史、將軍、列侯、中二千石、大夫、博士於未央宮舉行會議。霍光首先對諸大臣說：“昌邑王行昏亂，恐危社稷，如何？”群臣皆驚愕失色，莫敢發言。田延年乃離席按劍，對群臣說：“先帝屬將軍（指霍光）以幼孤，寄將軍以天下，以將軍忠賢能安劉氏也。今群下鼎沸，社稷將傾……如令漢家絕祀，將軍雖死，何面目見先帝於地下乎？今日之議，不得旋踵（宜速決）。群臣後應者，臣請劍斬之！”於是群臣皆叩頭曰：“萬姓之命，在於將軍，唯大將軍令！”
霍光率群臣朝見太後，詳奏昌邑王不可繼承皇位情景。皇太後乃驅車來到未央宮承明殿，詔令宮廷衛士不許昌邑王的臣下入內。昌邑王朝見太後回至所屬之溫室殿後，殿門即閉。霍光命令侍衛將昌邑王群臣全部驅趕至金馬門外，車騎將軍張安世率羽林騎收捕二百余人，皆送廷尉詔獄（奉詔拘禁犯人的監獄）議處。有頃，太後有詔召昌邑王，此時昌邑王始感事態嚴重，心懷恐懼。太後盛服坐武帳中，侍禦、武士數百人皆手持兵器陳列殿下，群臣按官品大小依次上殿，然後召昌邑王伏前聽詔。尚書令宣讀霍光與諸大臣連名給皇太後的上奏，具言昌邑王於漢昭帝死後，典喪不按禮儀，居道上不素食，使從官掠搶民女，與昭帝宮人淫亂。濫賜昌邑王舊屬官爵印綬，受璽二十七日，詔諸官署征發凡壹千壹百二十七事。荒淫迷惑，失帝王禮儀，亂漢制度。“……宗廟重於君，陛下不可以承天序，奉祖宗廟，子萬姓，當廢”！皇太後詔曰：“可。”霍光令昌邑王起，拜受詔，然後解其璽組，奉上太後，扶王下殿，出金馬門，霍光與群臣將昌邑王送至官邸。不久，太後又采納群臣奏言，詔命劉賀回到昌邑（今山東金鄉西北），賜湯沐邑二千戶，國除。昌邑群臣“坐無輔導之誼，陷王於惡”被誅殺者二百余人。只有中尉王吉、郎中令龔遂及昌邑王師王式以忠直多次進諫，得減死，髡為城旦。
皇帝是封建國家的象征，昌邑既廢，立誰為君？此為當時漢朝廷之大事。霍光與張安世等諸大臣議論此事，未能作出決定。大將軍長史、光祿大夫給事中丙吉上書霍光曰：“武帝曾孫名病已在掖庭（宮中旁舍，妃嬪所住之處）、外家（病已先在外家史氏）者，吉前使居郡邸（即郡邸獄，巫蠱事起，病已始生數月，亦被收系於此，武帝征召丙吉治巫蠱郡邸獄）時，見其幼少，至今十八九矣，通經術，有美材，行安而節和……“願將軍詳大義……決定大策！”秋七月，霍光召集丞相以下百官議定所立，決定上奏皇太後請立病已為帝，皇太後詔曰：“可。”霍光遣宗正、太仆以輕車奉迎病已入未央宮，見太後，群臣奉上璽綬，即皇帝位，是為中宗孝宣皇帝。十壹月，立許婕好為皇後。
宣帝本始元年（前73）春，詔有司論定策安宗廟功，益封大將軍霍光萬七千戶，與前所食凡二萬戶。車騎將軍張安世以下益封者十人，封侯者五人，賜爵關內侯者八人。霍光曾表示歸政，宣帝謙讓不受，令諸事皆先報告霍光，然後上奏。自昭帝時，霍光家族即權傾中外，聲勢煊赫，霍光兄弟、子婿、外孫皆身居要職，黨親連體。及昌邑王廢，光權益重。
本始三年（前71）春正月，許皇後死。先是霍光夫人霍顯欲使其小女成君立為皇後，無由得進。會許後將娩，病，霍顯因串通宮中女醫淳於衍，令其於許皇後分娩後，投毒藥中，許後飲藥而死。事後吏捕諸醫，劾淳於衍侍疾無狀，收系詔獄。霍顯惟恐陰謀敗露，即將事件原委悉告霍光，霍光大驚。會奏疏上，霍光閱後在奏疏上題寫“勿論”二字，遂寢其事。本始四年春三月，霍光女成君入宮，立為皇後。
地節二年（前68）春，霍光病重，皇帝親自臨問，霍光上書謝恩，請求將其博陸侯國封邑三千戶，封給其兄霍去病之孫霍山為列侯。當日，宣帝拜霍光之子霍禹為右將軍。三月，霍光死。四月，宣帝又封霍山為東平侯，使以奉車都尉領尚書事。
古代風景畫鑒賞明年，夏四月，立劉奭為皇太子，以丙吉為太傅，太中大夫疏廣為少傅。封太子外祖父許廣漢為平恩侯，又封霍光兄孫中郎將霍雲為冠陽侯。霍顯聞立許後子為太子，怒不可遏，以至嘔血，曰：“此乃民間時子，安得立！即後有子（言即使霍女生子），反為王邪？”乃又唆使其女成君令毒殺太子，由於太子保姆監護嚴密，未能得逞。霍顯認為霍光生前功勛卓著，子侄、兄弟、諸婿占據權要，更加驕奢放縱，無所顧忌。
古代人物圖宣帝在民間時，即聞知霍氏家族權勢尊盛，不知加以節制。後拜魏相為丞相，多次賜宴言事；平恩侯許廣漢（宣帝嶽丈）、侍中金安上等均得徑入宮中奏事；又宣帝為防壅蔽，下令準許吏民得奏封事（即臣民上書，為防泄密，得以黑囊緘封）。通過以上各種渠道，頗聞霍顯毒殺許後之事，但尚未完全證實。為防霍氏放縱不制，危亂國家，乃將霍氏家族及其親屬在兵官者，壹壹調離原職，以損奪其權。霍禹雖保留大司馬官號，但不予印綬，並罷去其右將軍領兵實權。霍顯及霍禹等見霍氏權勢日見削奪，常相對啼泣，互相埋怨。霍山謂霍顯曰：“我家兄弟諸婿多不謹，又聞民間謹言（眾口壹聲）霍氏毒殺許皇後，寧有是邪？”霍顯惶恐，即具以事實真相告知霍山、霍雲、霍禹等。於是以霍禹為首的霍氏家族及其親黨準備先發制人，誅殺丞相魏相、平恩侯許廣漢，然後廢宣帝而立霍禹為帝。事發，霍雲、霍山、範明友（霍光婿）自殺，霍禹腰斬，霍顯及諸姊妹皆棄市，與霍氏相連坐誅滅者數十家。太仆杜延年以霍氏舊人，亦坐免官。八月，皇後霍氏廢。霍光宗族，至是誅夷殆盡。