1926年起任國民革命軍第六軍軍部副官、連長、副營長，該軍第十八師五十三團團附、營長、代理團長，參加過兩次東征陳炯明和北伐，1928年起任第十師衛立煌部第三團團長、旅長。1930年冬起任國民政府警衛軍警衛第二旅少將旅長，第八十三師師長。依舊歸衛立煌指揮，參加中原大戰和圍剿鄂豫皖紅軍，由於他親自腰斬壹個臨陣退縮的連長，引起黃埔軍校下級軍官的憤怒，經軍事法庭判決，“撤職、監禁三年、永不敘用”。1933年後任鄂豫皖贛四省團隊幹部訓練班主任，鐵甲車司令兼鄭州警備司令．軍事委員會委員長侍從室第四組少將組長。1936年5月授陸軍少將．抗日戰爭爆發後，由俞濟時、胡宗南、賀衷寒力保，任預備第五師師長，第三十六師師長，第二十七軍軍長．先後參加凇滬會戰、武漢會戰、蘭封會戰等。在此期間，他乘機弄虛作假，大吃空缺。不到兩年，竟在祁陽買田400余畝，因而為同僚所指詬，任軍事委員會中將參議再次閑居。祁陽淪陷後，他與在鄉國民黨將校級軍官彭林生、陳天駿、周劍仇、戴天蓋等，組織抗日自衛隊。其時，東安在鄉軍官王仡亦醞釀組織民眾聯鄉自衛隊，派人前來聯系。於是，***同成立祁(陽)東(安)自衛總隊，蔣伏生自任總指揮，收繳民間武器，成立14個支隊、40個大隊，總部設在掛榜山附近的白鶴觀。總部成立後，日軍駐祁司令龍文普派縣維持會長黃俊傑與蔣伏生談判，要求互不侵犯，***同維持地方治安，但未達成協議。蔣部也曾搶奪日軍運送的軍用物資，破壞日軍駐祁的壹個駐點。但是，其部屬對人民的敲詐勒索、強奸擄掠，甚於日本侵略軍，人呼之為“十壹本（小日本）”。祁陽光復後，自衛隊解散。蔣伏生先後任第十二集團軍副總司令、第二十七軍軍官總隊總隊長、長沙警備司令、省軍管區副司令、衡陽警備司令、湖南省保安司令等職。1946年，國民黨選舉國大代表，他為了控制縣參議院，與洪幫西華山頭子趙海屏合謀，將原祁陽的錦寶山與西華山兩幫合並，到處開山立堂，把全縣所有的鄉鎮長都囊括在內，從而確保了他當選國大代表。後總統府第五戰地視察組組長，湖南省軍管區副司令兼長沙警備司令，湖南省在鄉軍人會會長。