新中國成立之初，國家的體育工作是由新民主主義青年團中央委員會主管的。1952年七八月間，中華全國體育總會副主席兼秘書長榮高棠，率領中國體育代表團到芬蘭的赫爾辛基，參加了第十五屆奧林匹克運動會，這是新中國成立之後第壹次參加奧林匹克運動會。回來之後，團中央向中***中央和劉少奇呈送了壹份報告，建議在政務院下設立壹個與各部、委平行的全國體育事務委員會，並提出“委員會的主任委員，最好是請賀龍（1896—1969年，湖南桑植人，開國元帥）那樣的壹位將軍來擔任”。
當時，賀龍還在任中***中央西南局書記、西南軍政委員會副主席、西南軍區司令員的崗位上，但他壹接到國家體委主任的任命，就以極大的熱情投入到這方面的工作之中。
1954年9月，在第壹屆全國人民代表大會上，賀龍被任命為國務院副總理、國防委員會副主席和國家體育運動委員會主任。不久，國務院任命蔡廷鍇、蔡樹藩、盧漢、黃琪翔、榮高棠為國家體委副主任，中***中央組織部批準張非垢任國家體委秘書長、黃中為副秘書長。
薛明（賀龍夫人）後來回憶說：“賀龍對國家體委這個班子是滿意的，很喜歡。用他的話說：是來自五湖四海的、團結的班子。他們相處很親切、自然，形成了壹個拳頭。”
興建北京體育館
舊中國留下的體育場館寥寥無幾。在北京，除了1937年始建的先農壇體育場之外，再沒有壹座體育場館，甚至連壹個帶有看臺的籃球場都沒有。賀龍和國家體委的其他領導同誌經過慎重研究，決定在北京修建壹個設施比較齊全、設備比較先進的體育館，並得到了國務院的支持。
榮高棠和黃中跑遍了整個北京城，終於在天壇東側找到了壹塊空地。他們向賀龍匯報說：“地皮找到了，但是我們沒有施工力量，也不懂建築。”於是，賀龍想到了時任北京市副市長的萬裏。萬裏曾經擔任過西南軍政委員會財經委員會委員，在重慶組織過城市建設。當時，萬裏正在外地出差，賀龍立即打電話，請他籌建北京體育館，萬裏接到電話的第二天就回到北京。不久，賀龍又調來了曾經參與修建重慶人民大會堂的張壹粟，協助萬裏工作。
北京體育館總建築面積3.3萬平方米，由北京市設計院設計，大通公司施工。賀龍只給了他們壹年的工期。設計人員加班加點，只用了3個月就繪制出了體育館的各種圖紙。賀龍不僅親自審查圖紙，就連館用沙發、茶幾的樣式，都提出了具體的意見。參加施工的幾千名職工努力奮戰，節假日也不休息。在施工建設的過程中，賀龍經常到工地去看望工程技術人員和工人，對他們說：“這個工程，是體委在北京修建的第壹座體育館，壹定要建好，按時竣工。中央和北京市許多部門都支持妳們，要人給人，要錢給錢。”經過壹年多的緊張施工，北京體育館於1955年4月落成。
創辦《體育報》
賀龍在建設體育場館的同時，還抓了《體育報》的創辦。賀龍認為，要廣泛吸引體育人才，建立新中國的各級體育機構，重要的問題是要大張旗鼓地向全國人民宣傳體育運動對國計民生的重要意義，以引起各級領導和廣大群眾對體育工作的重視和熱爰；大力宣傳中國***產黨關於體育工作的方針、政策，號召各界支持體育工作。要做到這壹點，體育戰線應該有自己的壹張報紙。
1958年初，賀龍專門向周恩來請示了這壹問題，周恩來說：“我們國家這麽大，是需要有壹張體育報。妳們向中央寫報告嘛！”4月初，國家體委向中***中央、國務院寫了報告，由賀龍面呈周恩來。6月下旬，中***中央批準國家體委創辦《體育報》。賀龍請毛澤東為《體育報》題寫了報頭，請朱德題了詞。
1958年9月1日，壹張套紅的《體育報》創刊號送到賀龍面前，他立即高興地閱讀起來。第二天清晨，賀龍就給報社打去電話表示祝賀。賀龍指出，報紙就是喉舌，要走在前面，鞭策我們的工作，“要大膽地辦，把《體育報》辦成6億人民的報紙”。從此，《體育報》就成了賀龍必讀的報紙。他壹般都在晚上看《體育報》，壹旦發現有了進步或者出現了缺點錯誤，就打電話給報社負責人，及時予以表揚和指導。在賀龍的關心和支持下，還創辦了《新體前雜誌》和《中國體育》雜誌（英文刊物）。
不拘壹格攬人才
賀龍認為要創造壹流的成績，必須有壹流的人才。在國家體委初創時期，技術人才嚴重不足。幾乎每個體育項目都缺少教練員，優秀的運動員更是屈指可數。為此，賀龍以無產階級革命家的胸懷、氣魄和膽略，力排眾議，不拘壹格，大膽地選用了壹批優秀的教練員和運動員，迅速把新中國的體育隊伍建立起來。
賀龍團結了壹大批國內的體育人才，吸引了許多流落海外的體育人才紛紛歸來報效祖國。經過賀龍、國家體委和各省市有關部門的艱苦努力，國家足球隊、籃球隊、乒乓球隊、田徑隊、網球隊、體操隊、遊泳隊等，在1954年前後相繼充實和組建起來。
獨特的管理方法
賀龍長期帶兵，深知壹支軍隊要有強大的戰鬥力，就必須要有高度的政治覺悟、過硬的軍事技術、頑強的戰鬥作風和嚴格的組織紀律。同樣，壹支體育隊伍在比賽中，特別是強手如林的國際比賽中，要戰勝對手，取得好成績，也必須思想、技術、作風“三過硬”。因此，賀龍借鑒軍隊的管理方法，努力把各運動隊培養成國際壹流的體育隊伍。
在運動員的訓練上，賀龍主張訓練難度要大幅度地超出比賽的難度，這樣才能夠在比賽時最大限度地發揮運動員的技術，與世界強手相抗衡。賀龍把人民解放軍軍事訓練的“三從”（即從難、從嚴、從實戰出發）原則，加上“大運動量訓練”，歸納為“三從壹大”原則，運用到運動員的基礎訓練和專項訓練中去，取得了顯著的成效。後來又在總結經驗的基礎上，進壹步提出了“三不怕”（不怕苦、不怕難、不怕傷）、“五過硬”（思想、身體、技術、訓練、比賽過硬）的口號。賀龍特別強調反對“驕”、“嬌”二氣，他說：“驕氣要不斷地掃，才能不斷進步，這個問題對體育隊伍來說，是非常重要的。”“運動員都要練成武松，不能成為林黛玉。要敢於和強手比，把世界強隊比下去。我們的腰桿要硬，膽子要大，心要細，既要有打虎的功夫，又要有繡花的功夫。”