第38集團軍的前身是1946年8月編成的東北民主聯軍第壹縱隊。
該軍的主力112師是彭德懷所率領的湘軍獨5師第1團於1928年發動平江起義創建的工農紅軍第5軍，1930年以紅5軍為主的紅三軍團壹舉攻克湖南省省會長沙市，這也是十年內戰時期紅軍攻下的最大城市。紅三軍團，是當時的中央蘇區紅軍兩大主力之壹，抗日戰爭中編為八路軍115師343旅686團，參加了著名的平型關戰鬥。1939年編為山東區第1師隨羅榮桓進軍山東，創建敵後根據地。
第113師的前身是徐海東大將領導的紅二十五軍壹部，在長征中孤軍奮戰，率先到達陜北。抗日戰爭中編為八路軍第115師344旅，開赴華北抗日前線。其中壹部進入山東，抗戰大反攻時編為山東軍區第2師。第114師的前身是張學良的東北軍第53軍111師，抗日戰爭中在地下黨員萬毅將軍指揮下在山東舉行起義，編入八路軍。
抗戰勝利後編入八路軍山東軍區第1、第2師，陸續出關進入東北。此後山東軍區第1、2師與東北軍起義的第111師編為東北民主聯軍第壹縱隊，李天佑將軍任首任司令。1947年改稱東北野戰軍第1縱隊。在東北解放戰爭中，1縱以“三下江南”，“四戰四平”名揚天下。在平津戰役中擔任天津主攻。
在解放戰爭中，1縱是東北野戰軍的三個猛虎軍之壹，是四野的頭等主力，以善打大仗、硬仗著名。38軍的三猛精神很有特色，部隊歷史其實算不上久遠，但他的戰鬥力卻是沒人敢小看的，其下屬的112、113師更是王牌中的王牌：112師攻堅能力強，113師長途奔襲能力強。兩師相互配合上演了不少好戲，四野中的幾個“第壹”都與38軍緊密相連——打贏出關後的第壹場殲滅戰；編為第壹縱隊；被譽為第壹只“虎”…，許多許多“第壹”的美名和38軍結下良緣。
在黑土地與國民黨軍美械裝備的精銳部隊作戰戰功顯赫，打了不少成名仗。“四戰四平”是38軍的第壹個成名仗。在整個解放戰爭中，38軍從祖國最北的松花江畔壹路過山海關，打到滇越邊境，打遍了半個中國。
遼沈戰役結束後，1948年11月，1縱改稱為中國人民解放軍第38軍，所轄第1師改稱第112師，第2師改稱第113師，第3師改稱第114師。同時將遼北獨立第10師劃歸38軍建制，改稱第151師，有近5萬人，並組建了炮兵，工兵和汽車部隊。接著迅速入關，參加平津戰役。38軍在平津戰役中擔任天津主攻，率先突破天津城防，殲滅國民黨軍2.7萬，活捉天津警備司令陳長捷，主攻天津成為38軍的第二個成名仗。在向全國進軍的路上，38軍還參加了宣沙，衡寶，廣西，滇南等大小戰役。在整個解放戰爭中，38軍從祖國最北的松花江邊壹直打到雲南中緬邊境，縱橫5000公裏，轉戰11個省市，殲敵16余萬，攻占大小城市100余座，解放了半個中國。
二、在朝鮮戰爭中贏得“萬歲軍”美名
1950年38軍隨13兵團首批入朝參加抗美援朝戰爭，軍長為梁興初將軍。
在第壹次戰役中，因38軍在與美第1騎兵師步兵第5團遭遇時，動作遲緩，貽誤了戰機，軍長梁興初被彭老總在誌願軍高級作戰會議上罵了個狗血噴頭，並說“再貽誤戰機，我要送妳上軍事法庭“。
“知恥而後勇”，在第二次戰役中，38軍在梁興初將軍指揮下，擔負關鍵的穿插重任。第113師大膽冒充李偽軍潰退部隊，14小時急行軍70余公裏,趕在了全機械化的美軍前，成功穿插三所裏與龍源裏。337團3連以果敢動作搶占松骨峰，壹舉切斷了美第8集團軍南撤退路；激戰兩晝夜,不顧敵瘋狂突圍，死守陣地，打退美軍多次進攻，使敵南北兩部相距不到1公裏卻始終無法會師,迫使其大部轉道新義州才避免了全軍覆滅的下場。此役，38軍***殲敵1.1萬余人，繳獲坦克14輛，大炮200余門，汽車300余輛。壹舉扭轉了整個朝鮮戰局。第二次戰役是38軍的第三次成名戰，也是使該軍名揚天下的戰役。誌願軍司令彭德懷在嘉獎電的最後親筆寫下“第38軍萬歲！”。從此“萬歲軍”名揚四海。
《誰是最可愛的人》這篇列入今天中學教科書的著名的報告文學，就是著名作家魏巍采訪38軍337團的“松骨峰阻擊戰”的英雄事跡寫成的，為誌願軍贏得了“最可愛的人”的贊譽。
在第4次戰役中，38軍背靠即將開凍的南漢江，依托簡易工事，頑強抗擊兵力，面對火力均占絕對優勢的聯合國軍的反撲，前仆後繼，使敵軍每晝夜只能前進不到900米，以巨大代價勝利完成了戰役掩護任務，受到誌願軍司令部的嘉獎。
抗美援朝戰爭，在38軍的歷史上留下了濃墨重彩的壹頁。該軍有3個連隊被誌願軍總部授予“二級戰鬥英雄連”稱號，湧現出“壹級戰鬥英雄”2人，“二級戰鬥英雄”14人，1萬多名指戰員榮立戰功。
38軍現況
第38軍可以說是壹支大型的多功能綜合性實驗部隊，當然其綜合戰力也是全國以至鄰近地區首屈壹指的。在試驗新戰術和新編制方面，第38軍某種程度上相當於美國陸軍在加州的歐文堡國家訓練中心，同樣負有相當於美軍高級作戰實驗的任務。第38軍在各集團軍中兵力最多，兵種最齊，武器裝備最優良，火力，機動力，突襲力，防禦力，快速反應能力，合成戰力，獨立作戰能力，縱深打擊能力，作戰保障能力，後勤技術支援能力，自動化數位化作戰能力等等都是全軍首屈壹指，是中國綜合作戰能力最強的壹流拳頭部隊