主席是所有委員會和工作組的當然成員，而且在他出席其中任何會議時均應身居上座。國際奧委會成立之初，現代奧運會創始人顧拜且提出主席輪流制，即國際奧委會主席由奧運會舉辦國的委員擔任，4年壹輪換，以體現奧林匹克運動的國際性。由於首屆現代奧運會於1896在希臘雅典舉辦，因此希臘人維凱拉斯擔任第壹任主席。雅典奧運會結束後，下壹屆奧運會將於1900年在法國巴黎舉辦，於是顧拜旦接任為第二任主席。第3屆奧運會定於1904年在美國聖路易斯舉辦，因此巴黎奧運會後，顧拜旦準備將主席壹職交給國際奧委會的美國委員、普林斯頓大學教授斯隆。但是斯隆認為，頻繁更換領導人對新生不久的國際奧委會十分不利，堅持要顧拜且留任。歷史證明斯隆的意見是正確的。顧拜旦在其長達29年的國際奧委會主席任期內殫精竭慮，對奧林匹克運動的生存、發展與創新作出壹系列重大貢獻。顧拜旦之後，先後擔任國際奧委會主席的有比利時人巴耶-拉圖爾(1925-1942)、瑞典人埃德斯特隆(1942-1952)、美國人布倫戴奇(1952-1972)、愛爾蘭人基拉寧(1972-1980)、西班牙人薩馬蘭奇(1980-2001)、現任主席是比利時人羅格(2001- )。