夏朝和商朝是沒有將軍一職的，在西周時期，掌管軍事的官職叫司馬。那時，軍隊的數(shù)量并不多，天子只有六軍，諸侯最多不超過三軍。

到了春秋時期，各諸侯為了擴(kuò)大勢力范圍，不斷增加兵力，因此，大國諸侯常常擁有三軍以上的兵力，在編制上卻只有三軍，只設(shè)三卿，于是，便把擴(kuò)充軍隊的統(tǒng)帥稱作“將軍”，為將領(lǐng)一軍的意思。隨著軍隊的數(shù)量越來越多，將軍也越來越多。由于作戰(zhàn)時軍隊須由一人統(tǒng)率，因此，在將軍中又選拔出“大將軍”或“上將軍”來全盤指揮。

漢朝以后，由于兵種增多，又有了驃騎將軍、車騎將軍、衛(wèi)將軍等名號。