平綏路東段的重鎮南口，是北平通往西北地區的門戶。南口戰役1937年8月8日打響，至8月26日中國軍隊撤退，歷時18天。也是張績武在抗日戰爭中的第壹仗。時任265旅上校參謀長的張績武接到進軍南口的命令後，立即協助旅長率部集聚在大同車站，冒雨召開誓師大會，抗日官兵紛紛表決心，“拼死抗戰，保家衛國”，“寧可戰其死，不當俘虜兵”。南口戰役是中國軍隊抵抗日軍進攻華北企圖奪取山西的過程中，進行積極防禦作戰的壹次重要戰役。
1937年8月7日，日軍第5師團和獨立混成第11旅向南口及其沿線長城要隘展開進攻，南口戰役打響。8月8日，日阪垣師團步騎混合部隊2000余人在空軍掩護下向龍虎臺進犯（龍虎臺壹線陣地最高點），接著是騎兵進襲，龍虎臺及南口車站的守軍官兵沈著應戰。下午，日軍主攻龍虎臺，炮火密集如雨，張績武所在265旅炮兵陣地壹處被毀，壹排長陣亡，士兵傷亡數十人，日軍傷亡百余人。
中國守軍在傅作義將軍沈著堅定的指揮下，在各個陣地上均與日軍展開激烈爭奪，反復沖殺，甚至壹日之內守軍傷亡1200余人。9日，日步兵配合戰車向南口、龍虎臺、得勝口等陣地不停地發起全面進攻，在其優勢炮火轟炸下，相持兩日，雙方傷亡慘重，龍虎臺、東山頭曾被敵壹度攻陷，旋於當晚反攻克復。
“戰事異常激烈，敵軍的山下旅團因消耗慘重，改由鈴木旅團接替繼續進攻。我部駐守的十幾個山頭陣地，經常是白天被敵人攻陷，晚上又奪回來”。張將軍說，“這次戰役，出現了不少的以少勝多每攻必克的英雄戰例，守中有攻，攻中有防。在堅守防線陣地中，我帶領突擊隊，利用暗夜，出其不意，突襲敵人，打得敵軍暈頭轉向，為陣地堅守贏得了時間。”敵阪垣在向敵總部求援時聲稱：“在南門口遭到了堅強的抵抗。”
南口戰役的同時，日軍察哈爾派遣兵團向西北重鎮張家口展開進攻，中國守軍壹部馳援張家口。中國來援軍隊被日軍阻斷，中國軍隊遂於8月26日向南撤退。8月26日與27日，日軍左翼第5師團和右翼獨立混成第11旅分別占領南口附近重鎮懷來、延慶，南口戰役結束。中國軍隊傷亡3.3萬人，日軍傷亡約1.5萬人。
1938年初，張績武在廖樓戰役中戰功卓著。我問他這場仗是怎麽打的，在他看來，時刻要面對戰場的變化，必須親臨前線，在第壹時間做出決斷，隨時捕捉戰機，在危險的時候讓士兵看到自己。他把“英勇善戰，出奇制勝”體現在戰鬥中的每個環節上，廖樓戰役在進入決戰關頭，他腰束白帶，率部隊傍晚包圍，拂曉進攻，乘日寇軍營內士兵起床之前摸哨入內，他沖在最前面，士兵們不甘落後，白刃肉搏，斬殺日寇於睡夢之中，消滅日寇兩個大隊。因此論功，被晉升為13軍獨立團長。
1938年3月，為阻擊日軍南下，張績武所在的13軍奉五戰區李宗仁司令的命令，從許昌出發，沿大別山經淮陽、鹿邑、亳州、渦陽進軍蒙城，集結待命，準備參加保衛徐州阻擊日寇南下的大會戰。
就在此時，家中來信，稱父親病危，要他速歸。但他毅然在信的封皮上寫下慰藉父親的八句口占：“捧書知父病，家國兩蹉跎。狼寇燒殺掠，中華***枕戈。好兒當報國，慈父聽凱歌。淝水奔騰急，殺向泰山窩。”就在這封信到家沒幾天，父親去世。而他的部隊則奉命以驚人的速度趕到臺兒莊北面陣地——臨城，待命參加臺兒莊大會戰。
3月14日，敵瀨谷旅團在飛機配合下，自兩下店沿津浦路南下占領騰縣，師長王銘章壯烈徇國。18日敵瀨谷旅團以同樣作戰方式，在以飛機向澤縣轟炸半小時後，接著以步兵和摩托車隊約2000人，由臨城之東北沙河北岸突襲搶渡沙河。而張績武團則搶先在沙河南岸小丘陵地帶設伏。當敵接近陣地100米處時，我隱蔽官兵的機槍、擲彈筒、手榴彈齊發，並組成交叉火力與日軍展開激戰，敵難以上岸，以摩托車和戰車為掩體進行抵抗。見此，張績武親率戰士沖下山坡與敵展開肉搏戰，炸毀敵戰車，擊斃日軍200余人。殘余之敵逃回北岸，恰逢上遊大雨，河水猛漲，日軍二次渡河攻擊困難，形成隔河對峙局面。3月20日深夜12時，張績武接軍部電令，率獨立團撤出北線陣地，轉移到付山口、金雞嶺、大葦湖等戰地壹線，引誘日軍南下至臺兒莊，以圖包圍集殲。張績武部撤出北線陣地後，東路日軍，以壹隊騎兵為先峰突襲愛曲（地名）和朱陳（地名）。3月24日，李宗仁調集的部隊陸續趕到了臺兒莊。從北城墻沖進去的壹股日軍，被二六五旅全殲。3月25日，張績武麾下的3營全體官兵赤膊上陣，揮刀奪取敵炮十余門，並炸
毀敵坦克三輛。3月27日，日軍沖入臺兒莊城內，與我軍展開了拉鋸戰，逐條街、逐間屋地爭奪。最為慘烈的巷戰開始後，為爭奪壹座房屋，子彈打光了，就用刺刀，刺刀斷了，就拉響手榴彈，與敵同歸於盡。4月7日，張績武接師部命令：日軍在臺兒莊附近企圖向北逃竄，現在嶧縣之大顧柵構築據點，以作掩護撤退；妳團速集結到付山口、金雞嶺地區，限在五日內攻下大顧柵，集殲該據點守敵。於是，張績武迅即趕到大顧柵對面的小山包上，張開地圖席地召開作戰會議，進行部署。8時左右，戰鬥開始。小炮連和山炮營向大顧柵左、右翼日軍陣地猛烈轟擊，左翼官兵十幾人或幾人壹組，從各路分頭向敵據點沖峰，日軍碉堡射擊的火舌把黑夜照得通明，機槍聲、沖鋒槍聲、炮聲、擲彈筒、手榴彈聲響成壹片，張部戰士每前進壹步，都要付出重大傷亡的代價……其時參與壹同作戰的529團團長羅芳矽被日飛機炸死，503團團長譚乃大身負重傷。戰鬥持續到第二天淩晨，左右兩翼日軍終被擊潰，殘部在北竄時亦遭到534團的阻擊，大顧柵日軍據點在壹夜時間為張部奪回。戰場上，倉皇逃奔的日軍，遺屍遍野，被擊毀的各種車輛，彈藥馬匹遍地皆是。磯谷師團殘部敗退至澤縣，無力反擊，臺兒莊戰役至此結束。
張績武將軍在抗日戰爭中，經歷過南口、臺兒莊、娘子關、襄宜、得勝口、居庸關等著名戰役，還參加過豫中會戰、武漢保衛戰、長沙會戰，大小戰鬥百多場次，壹次次立功、壹次次受獎，勛章的背後閃亮著將軍的人生足跡。
抗戰勝利後，張績武在桂林舉辦《抗日軍人張績武書畫展》，李宗仁攜夫人郭德潔親自為畫展剪彩，所展的內容全部是他的戰地詩詞之作。展中有他自撰的壹副對聯：“有空必練，萬水千山壹枝筆；無役不從，十年百戰再生人”，實際上就是他抗戰生涯的總結。
2005年，中華人民***和國中央軍委為張績武將軍頒發了“紀念中國人民抗戰勝利六十周年”紀念