上將軍，中國古代武將的官名，位次於上卿。公元前633年，晉文公“作三軍，謀元帥”，以郤縠將中軍，狐偃將上軍，欒枝將下軍，當為“將軍”名之始出。
唐朝官制，上將軍從二品，大將軍正三品，將軍從三品。上將軍是唐代十六衛的主官，大將軍為副手。
《新唐書·職官》：左右衛，上將軍各壹人，從二品；大將軍各壹人，正三品；將軍各二人，從三品。掌宮禁宿衛，凡五府及外府皆總制焉。
凡五府三衛及折沖府驍騎番上者，受其名簿而配以職。皇帝禦正殿，則守諸門及內廂宿衛仗。非上日，亦將軍壹人押仗，將軍缺，以中郎將代將軍，掌貳上將軍之事。左右驍衛、左右武衛、左右威衛、左右領軍、左右金吾、左右監門衛上將軍以下，品同。
唐宋時期上將軍官位復原。自唐以後，上將軍、大將軍、將軍，或為環衛官，或為武散官。宋、元、明三朝，多以將軍為武散官；殿廷武士也稱將軍。北洋政府時期，上將軍為將軍府所設置的榮譽稱號；如能獲得“上將軍”稱號者，壹般都是曾授為陸軍上將或海軍上將者。