“聯合艦隊”本身只是壹個普通的海軍名詞，指的就是多個獨立艦隊混編組成的作戰單位，但是明治維新以後，日本出於自身的戰略需求，將“聯合艦隊”變為了常設單位。甲午海戰、日俄戰爭、第二次世界大戰，日本聯合艦隊堪稱日本發動侵略戰爭的支柱和急先鋒，“聯合艦隊”也成了舊日本帝國海軍的代名詞。
提到日本聯合艦隊的設立就離不開兩個人，壹個是山本權兵衛，薩摩派海軍第二代掌門人，總攬全局，從硬件上打造了“聯合艦隊”；另壹個人是島村速雄，日本海軍最優秀的參謀長，壹手推動了日本海軍戰略戰術的發展，從軟件上為“聯合艦隊”的設立提供了理論支持。
先說山本權兵衛。倒幕運動之後，日本建立了以天皇為核心的新政府，開始明治維新，因為當時明治政府的首要任務是將地方強藩手中的權力收歸中央，要依靠陸軍的武力震懾，因此陸軍的建設優於海軍，雖然1870年日本帝國陸海軍正式分離，但是在指揮權上海軍受制於陸軍。1886年，日本設立北海道室蘭、神奈川縣橫須賀、京都府舞鶴、廣島縣吳、長崎縣佐世保等五個鎮守府，所有軍艦劃歸五個鎮守府分管，在編制上日本海軍四分五裂，更是難以與日本陸軍抗衡，就是這種情況下給了山本權兵衛登臺的機會。
山本權兵衛出身於薩摩藩，十幾歲就上過戰場，參加過1863年的薩英戰爭、1868年的戊辰戰爭，後來在“維新三傑”之壹的西鄉隆盛介紹下入讀了日本海軍締造者勝海舟開辦的海軍學校，從此加入海軍。明治維新以後，日本藩閥政治盛行，有“長州的陸軍，薩摩的海軍”之說，山本權兵衛由於出身的關系，在海軍中是步步高升，不到四十歲就已經位列日本海軍中樞機構；再加上當時的海軍大臣西鄉從道（西鄉隆盛的弟弟）原來是陸軍出身，根本不懂海軍，因此完全放權給山本權兵衛，在這位長官的支持下，山本權兵衛開始對日本海軍進行改革，大肆擴充海軍艦艇。
1893年，在山本權兵衛的主導下，日本海軍設立海軍參謀部，將指揮權從陸軍手中奪了回來，從此日本海軍有了和陸軍平等的地位，而山本權兵衛因此樹立了威信，人稱“權兵衛大臣”；此後在中日甲午戰爭戰略謀劃會議上，山本權兵衛（當時是大佐軍銜）駁斥了陸軍參謀次長川上操六中將的規劃，第壹次提出了日本海權第壹的論調，將海軍擺在主要位置，並獲得日本高層支持。但是山本權兵衛的種種努力只能證明海軍對日本很重要，要想將艦隊從五個鎮守府手中收回來可費勁了，畢竟這屬於削弱鎮守府職權，沒有壹個合適的理由，日本海軍非得內訌不可，而島村速雄解決了這個問題。
島村速雄出身於土佐藩，家境貧寒，當年入讀海軍學校就是因為不用支付學費，不過島村速雄聰明好學，雖然是生活所迫接觸的海軍，但卻是當時海軍學校同期首席畢業，被認為是“海兵學校7期的螞蟻頭”。清朝購入定遠和鎮遠兩艘戰列艦對於島村速雄觸動極大，此後島村以定鎮二艦為假想敵鉆研海軍理論，於1888年寫成《海軍戰術壹斑》，在該文中島村論述了自己的戰略思想，認為隊形，速度，訓練，指揮等指標比戰艦的噸位，火炮的口徑等更重要，壹下子就打動了當時的日本海軍高層。1888年6月，日本海軍召集主要將領研究討論島村速雄的理論，並進行了實戰演習進行驗證，據此編成了《海戰演習教範》和《海軍操典》全軍推廣。
從1888年8月開始，為了開拓視野，繼續完善作戰理論，島村速雄被派往國外考察，綜合當時兩大海軍強國英國和法國的作戰思想，結合日本資源匱乏、不利久戰的實際情況，提出集合日本海軍主力，利用突然襲擊的方式快速消滅敵軍海軍主力，奪取制海權。這壹作戰理論壹直被日本海軍沿用到二戰，而在當時是給聯合艦隊的建立提供了理論支持，畢竟在壹切為了勝利這種正大光明的口號下，鎮守府也不敢阻攔日本艦隊的整合了。
1894年7月19日，中日甲午戰爭爆發的6天前，山本權兵衛提出了整合日本所有作戰艦艇，組建“聯合艦隊”的方案，當時屬於臨時編制；1904年日俄戰爭，日本再次組建“聯合艦隊”。兩場戰爭日本海軍依靠“聯合艦隊”，使用島村速雄的作戰思想都是大獲全勝，日本邁入列強行列，海軍地位越來越高，1913年2月山本權兵衛當上了首相，這是首位海軍出身的日本首相。
1923年，“聯合艦隊”成為日本軍隊常設戰略單位，聯合艦隊司令直接隸屬於日本天皇，統領日本海軍所有主力艦艇。“聯合艦隊”會在1923年徹底成型是有其必然的，在內部，日本海軍勢力經過多年發展能和陸軍分庭抗禮，在民間影響力上更是超過陸軍，已經到了徹底整合海軍艦艇，消除陸軍對海軍影響的時候；在外部，壹戰之後日本將美國作為了自己擴張的主要對手，在國力比拼上美國碾壓日本，日本海軍只能寄希望於曾幫助自己在甲午戰爭、日俄戰爭中以弱勝強的戰略思想，就是集中主力突襲。
日本聯合艦隊可以說是充分顯示了日本人的賭徒思想，將國家的前途和命運寄托在畢其功於壹役上，風險太高。但是甲午戰爭、日俄戰爭，壹次次賭博的勝利讓日本迷失其中，在二戰中不自量力的挑戰美國，最終將整個日本拖進了毀滅的深淵，聯合艦隊主力近乎全滅，自明治維新以來苦心經營出的“世界第三大海軍”煙消雲散。