數十萬年前，境內已有古人居住，屬舊石器時代的早期人類文化，在汾河東岸的永合村、紅崖堡村壹帶有考古發現。
傳說顓頊畫九州，霍為冀州之地，以東有霍太山而得名。
夏、商時，霍仍為冀州之地。
西周初年，周武王封其弟叔處於霍，稱為霍國。
因境內有彘水，故又名彘。
都城在今汾河西岸白龍鎮陳村壹帶。
春秋時期，晉獻公於公元前661年率軍滅霍，霍哀公奔齊。
霍地由此歸晉，稱為霍邑。
戰國時，公元前453年，韓、趙、魏三家分晉，霍邑先屬魏，後屬韓。
韓將馮亭以上黨降趙，霍又屬趙。
公元前221年，秦統壹全國，分天下為36郡，霍邑屬河東郡。
西漢高祖元年（前206年），設彘縣，仍屬河東郡。
王莽建國四年（12年）改彘縣為黃城。
東漢陽嘉三年（134年）改黃城為永安，轄汾西、趙城。
永安縣治建於霍國故都之地，即今霍州市白龍鎮陳村。
三國魏正始三年（242年），移縣治於趙城仇池壁。
魏正始八年（247年），劃河東之汾北10縣為平陽郡，永安屬之。
北魏建義元年（528年），置永安郡，轄永安縣、楊縣。
郡治設永安城。
隋開皇十六年（596年），置汾州，永安屬之。
開皇十八年（598年），改汾州為呂州，改永安為霍邑。
大業三年（607年）罷邑州，霍邑屬晉州。
大業十三年（617年），太原留守李淵起兵反隋。
隋將宋老生率軍3萬守霍邑。
霍邑之戰，宋老生兵敗身亡，唐兵長驅直入，攻陷隋都長安。
隋恭帝元年（617年）置霍山郡，轄霍邑、趙城、汾西、靈石4縣。
唐武德元年（618元），改霍山郡為呂州。
貞觀十七年（643年）州罷，以霍邑縣復歸晉州，霍邑屬之。
北宋政和六年（1116年），改晉州為平陽府，霍邑屬之。
金貞佑三年（1215年），置霍州，領霍邑、趙城、汾西、靈石4縣。
元改平陽府為平陽路，後又改稱晉寧路，霍州屬之。
霍州下領霍邑、趙城、靈石3縣。
元貞三年（1297年）復立霍州，統管霍邑、趙城、汾西、靈石、嶽陽5縣。
清乾隆三十七年（1772年），霍州升為直隸州，領趙城、靈石2縣。
光緒三十二年（1906年），又增轄汾西縣。
民國元年（1912年）改霍州為霍縣，隸屬河東道。
解放初期仍為霍縣。
1958年與汾西縣合並為霍汾縣。
1961年與汾西縣分開，復稱霍縣。
1990年，撤縣建霍州市。