關於“元老”的由來，史學界有不同的說法，有人認為是明治維新中立下顯赫功績的人物被稱為“元勛”，他們在明治時代長期處於政治主導地位，這壹群體在不同時期稱謂不斷簡略（明治之元勛—元勛—元老）。也有人認為這是“元勛諸老”的簡稱。此外，明治初期的最高咨詢顧問機關是麝香間祗候和錦雞間祗候。
總裁、議定、參與三職制廢止後，最初接受“元勛優遇”之詔敕的政治家是伊藤博文和黑田清隆。當1889年伊藤博文辭去樞密院議長時，明治天皇即頒布詔書授命，但為平衡薩長藩閥勢力，避免薩摩派的反彈，黑田清隆也被指名。在這壹時期，通常被稱為“元勛”，他們的聚會被稱為“元勛會議”。漸漸地，元勛和元老這樣的名詞開始混用。自第壹次桂內閣開始，元勛、元老不再擔任內閣總理大臣，元老的稱謂取代元勛成為通例。
隨著歲月推移，元老們相繼離世。松方正義死後，西園寺公望成為唯壹的元老。“元老”成為西園寺的代名詞。當時日本政界曾出現了元老再產生運動，在松方正義生前就考慮補充新的元老，山本權兵衛、清浦奎吾等人成為強有力的元老候補，但都被“最後的元老”西園寺公望否決。此外，隨著重臣會議的設立，最終沒有進行元老補缺。1940年（昭和15年）元老制度隨著西園寺公望的去世而消亡。應當指出的是，在昭和天皇踐祚之際，閑院宮載仁親王接受了與西園寺公望的“元勛優遇”之詔相類似的“匡輔弼成”詔敕（同時奉詔的還有西園寺和首相若槻禮次郎），基於皇族和現役軍人的雙重身份，他從不參與政局。因此，閑院宮從來沒有被視作元老（但他被授予的元帥和議定官是天皇的咨詢顧問機構的組成部分，1945年（昭和20年）去世）。
此後，作為天皇的最高咨詢顧問機構，議定官、樞密顧問官、宮中顧問官的制度存續到太平洋戰爭結束。