春秋時代以卿統軍，故稱卿為將軍；壹軍之帥稱將軍。見《國語·晉語四》、《左傳·昭公二十八年》：“豈將軍食之而有不足”。此皆非正式官名。到戰國時代始為正式官名，而卿仍稱將軍。見《史記·廉頗藺相如列傳》；又置前後左右將軍。秦因之。
漢置大將軍、驃騎將軍，位次丞相；車騎將軍、衛將軍、前後左右將軍，位次上卿。見《漢書·百官公卿表上》。西漢還有“中將軍”，見《漢書·衛青霍去病傳》、《史記·衛將軍驃騎列傳》。這些將軍都是朝廷重臣，常加朝中官號，參與朝政。另外有樓船將軍、材官將軍、將屯將軍、伏波將軍等雜號將軍，地位稍低，統兵征伐時臨時設置，因事立名，事訖而罷。
魏、晉、南朝、北魏、北齊時期，專職武官將軍有領軍將軍、護軍將軍，及其所領左衛將軍、右衛將軍、驍騎將軍、前軍將軍、後軍將軍、左軍將軍、右軍將軍等，典掌禁軍，各有職司，其余諸號將軍名為朝中大臣和地方長官的加官，雖然也領軍兵，但不是專職的軍事統帥。其中晉朝有驃騎、車騎、衛將軍，有伏波、撫軍、都護、鎮軍、中軍、四征、四鎮、龍驤、典軍、上軍、輔國等大將軍，開府者位從公，不開府者秩二品。三品將軍秩二千石。見《晉書·職官誌》。晉諸州刺史多以將軍開府，都督軍事。
南北朝時將軍名號極多，權位不壹。西魏、北周時期實行府兵制，各級府兵組織的統帥也帶將軍號，如柱國大將軍、大將軍、驃騎大將軍、車騎大將軍等。
隋朝十二衛、唐朝十六衛等諸禁衛軍都置大將軍、將軍，分別冠以衛號、軍號，統領府兵、禁軍。遼朝北面禦帳官、皇族帳官、諸帳官、部族官、屬國官、軍官中皆置將軍，參掌本部軍隊之政令。
金朝宮中置宿置將軍，領親軍，掌宮城及出行禁衛；大宗正府下設諸宗室將軍，分治宗室事務；金章宗發兵攻宋時曾設置平南諸號將軍，軍還而罷。
明朝鎮守邊防的將領掛將軍印，如駐守雲南的總兵稱征南將軍，駐守兩廣的總兵稱征蠻將軍，駐守遼東的稱征虜前將軍，駐守宣府的稱鎮朔將軍，駐守甘肅的稱平羌將軍，駐守寧夏的稱征西將軍，駐守交趾的是副將軍，駐守延綏的稱鎮西將軍等。
明清兩代，有戰事出征，置大將軍和將軍，戰爭結束則免。明朝領兵出征的總兵官臨時掛將軍印，如平賊將軍、平胡將軍、平虜將軍、征夷將軍、征虜將軍、討賊將軍、前將軍、副將軍等，事畢納印。清朝臨時派遣的軍事統帥授以靖逆將軍、揚威將軍等，班師撤回時，軍隊各歸原建制，印信繳還。