1、東漢末年，孫權的手下大將魯肅奉命鎮守巴丘，操練水軍，在洞庭湖接長江的險要地段建築了巴丘古城。建安二十年（公元215年），魯肅在巴陵山上修築了閱軍樓，用以訓練和指揮水師。閱軍樓臨岸而立，登臨可觀望洞庭全景，湖中壹帆壹波皆可盡收眼底，氣勢非同凡響，這座閱軍樓就是嶽陽樓的前身。
2、閱軍樓在兩晉、南北朝時被稱為巴陵城樓，到唐朝時期方始稱嶽陽樓。
3、宋慶歷四年（公元1044年），滕子京被貶至嶽州，當時的嶽陽樓已坍塌，滕子京於慶歷五年在廣大民眾的支持下重建了嶽陽樓。
4、滕子京重修的嶽陽樓，在明崇禎十壹年(1639年)，毀於戰火，翌年重修。清代多次進行修繕。清光緒六年(1880年)，知府張德容對嶽陽樓進行了壹次大規模的整修，將樓址內遷6丈有余。
5、嶽陽樓在1700余年的歷史中屢修屢毀又屢毀屢修。幾經風雨滄桑，屢毀屢建，有史可查的修葺***30余次．每次重修後，則層檐冰閣，岌頌於其上，文人才士登眺而徘徊;圮毀之時，則波巨浪，沖擊於其下，遷客騷人矯首而太息（清朝張德容《重修嶽陽樓記》）。
6、至民國末年，樓身已經破舊不堪。新中國成立後，黨和政府對嶽陽樓極為珍視，人民政府多次撥款對嶽陽樓進行了維修，還修建了懷甫亭、碑廊，重建了三醉亭和仙梅亭等古跡。