1939年4月8日，伍紹祖出生在西安，父親伍雲甫和母親熊天荊當時都在八路軍駐西安辦事處工作。那時，西安經常被日本人的飛機轟炸。有壹次母親出門辦事，就把伍紹祖放在大床上。壹聽到轟炸的聲音，她馬上跑回來，發現伍紹祖已經被摔到地上，還碰翻了壹盆水，但伍紹祖依然在熟睡。
後來，中央領導同誌考慮伍紹祖母子的安全，於1940年2月讓伍紹祖撤回延安。母親擔任陜甘寧邊區政府建設廳合作局局長。1940年下半年，父親也調回延安，擔任邊區政府財政廳副廳長兼邊區銀行副行長。1941年1月發生皖南事變後，父親被調任八路軍駐西安辦事處主任。1942年上半年，父親再次回到延安，任中央軍委秘書長。同年，受毛主席指派，父親隨林彪去與蔣介石談判，後來同林伯渠、王若飛去重慶與國民黨談判。
1943年，母親之前在國民黨監獄裏感染上的肺結核病復發，住進了延安的中央醫院。沒有人管伍紹祖，朱德總司令就收伍紹祖做“幹兒子”。後來，伍紹祖跟父親在中央黨校住了壹段時間。1944年，母親奇跡般地康復了，伍紹祖就又回到邊區政府住。9月，伍紹祖被母親送到離駐地不遠的延安第壹完全小學上學。
1946年元旦時，駐在延安的中央和邊區的各機關的同誌互相拜年，那時毛主席住在王家坪，伍紹祖跟著母親也到了王家坪，正好延安電影團的同誌也在，大家就合了壹張影，伍紹祖就站在毛主席的身旁。
抗戰勝利後不久，毛主席去重慶返回延安後，就說要加強備戰，延安的大生產運動開展得如火如荼。
為了備戰，母親把伍紹祖送到離延安80多裏的延安第壹保育院小學（簡稱“延安保小”）。1946年底，伍紹祖被秘密地吸收為兒童團員。也就在這個時候，駐在延安城附近的抗小（抗日幹部子弟小學）與保小合並。那時伍紹祖年齡雖小，但對敵人仇恨是深刻的，想著有機會能上戰場與敵人拼命。
1947年，國民黨派胡宗南的部隊進攻陜甘寧邊區。3月16日，伍紹祖隨延安保小的第壹批學生離開白家坪行軍40裏到雷咀河村，整整走了壹天，到傍晚才看到山底下的目的地。休整了幾天後，隊伍往舊安定城走，路上遭到敵機轟炸，但沒受損失。伍紹祖是第壹個跑進城的。晚上我們住在被轟炸過的房子裏，半夜又被叫起來，說敵人要占領舊安定城，要求立刻集合起來返回雷咀河。
行軍壹開始很艱苦。有壹次伍紹祖與同伴走到壹個沒有人的村子，從壹個空窯洞裏找到壹包辣椒粉，打了壹桶涼水沖著喝了。後來村裏的老百姓知道是八路的娃來了，就從地底下挖出白面，給伍紹祖與同伴做面條吃。
1947年6月，伍紹祖與同伴到了山西，在晉察冀解放區的離石縣王家坡村休整了大約壹個月。以後伍紹祖與同伴穿越汾河，過同蒲路封鎖線，翻越太嶽山到達晉冀魯豫解放區的武安縣陽邑鎮。在那裏呆了差不多壹年。整整2000裏的行軍，對於不到8歲的伍紹祖來說還是很大的挑戰，而且伍紹祖還被評為行軍模範。1947年秋天，伍紹祖在學校見到了兩年沒有見面的父親，還給母親寫了壹封信報平安。
1949年3月，黨的七屆二中全會以後，伍紹祖隨中央機關坐著楊尚昆同誌的中型吉普進了北京，隨父親住在香山的鎮芳樓第二層，後又搬到中南海。
從延安開始，經過2000裏的行軍（“短征”）到河北，最後到北京，伍紹祖見證了黨如何成功奪取全國政權，成立中華人民***和國的歷史。雖然伍紹祖那時還是壹個不怎麽懂事的孩子，但也經歷了這個大變化，真是受益匪淺。 在北京市101中學（原北京師範大學第二附屬中學）經過6年中學學習，1957年秋，伍紹祖以不錯的成績考入清華大學工程物理系。1964年本科畢業，又考上張禮教授名下的“高能核物理專業”的研究生。前後在清華大學呆了近8年。
大學本科畢業前，團中央書記處書記楊海波突然找伍紹祖談話，說如果組織上需要，把伍紹祖調到全國學聯做社會工作，問他願意不願意。伍紹祖表示堅決服從。1965年1月，在全國學聯第十八次代表大會上伍紹祖被推舉為全國學聯主席，並在同時舉行的全國青聯代表大會上被選舉為第4屆青聯常委。當選後，伍紹祖參加了在人民大會堂歡迎巴勒斯坦領導人舒凱裏的宴會，舒凱裏與我握手時，他驚訝地說：“妳這麽年輕！
1965年底，伍紹祖又被補選為廣東省出席第三屆全國人民代表大會的代表。這是伍紹祖在全國學聯主席的崗位上經受的第壹次考驗。
1965年5月，伍紹祖在清華大學辦了保留研究生學籍的手續，正式調到團中央機關工作，被分在團中央國際聯絡部組織科 。
此後，伍紹祖兩次到訪歐洲，壹次是1965年11月以全國學聯主席的身份率中國學生代表團去捷克斯洛伐克參加國際學聯執委會，另壹次是1966年6月隨中國青年代表團到匈牙利參加世界青聯的代表大會。6月24日回國，伍紹祖壹下飛機就被人直接拉到團中央機關禮堂，當時正在對團中央書記處進行批判。會後，團中央書記處書記王照華同誌找伍紹祖談話，說伍紹祖的女朋友曾曉前（現在的夫人）的爸爸被定為楊尚昆的死黨，要伍紹祖與之劃清界限。1966年8月，伍紹祖送兩位到訪中國的美國青年走後回到團中央機關，看到團中央的主要領導人胡耀邦、胡克實、王偉等被“示眾”，心裏非常不是滋味，就向機關造反的負責人提出意見，他們也覺得不妥，到9月初就停止了這些活動。 胡耀邦、王震和張愛萍是團中央人生中的三位導師。
1969年4月份，團中央機關“壹鍋端”下到了河南省信陽地區潢川縣的黃湖農場。5月，胡耀邦同誌來到幹校。伍紹祖等都被分到壹連的行政處人員的班裏。在與胡耀邦相處的兩年多裏，胡耀邦的壹切從實際出發，從不迷信權威，善於運用辯證法分析問題，刻苦思考、刻苦學習等很多優良品行對伍紹祖影響至深，是伍紹祖人生中的第壹位社會老師。這是伍紹祖在團中央機關七年的時間裏最大的收獲。
1971年9月13日林彪事件後，周恩來同誌抓住時機解放和使用壹批老同誌，王震同誌是其中之壹，當時被安排在國務院業務組。王震要找壹個年輕的新秘書，把目光投向了團中央機關。團中央機關的人提出了可以選擇的十幾個人，其中也有我。1972年4月中旬，伍紹祖擔任王震副總理秘書。雖然在這個崗位的時間不長，只有三年零兩個月半，但受到的鍛煉卻不少。王震同誌成為伍紹祖的第二位社會老師，也是政治老師。 有壹次，伍紹祖陪王震去看望聶帥。當聶帥了解到伍紹祖曾是清華大學理論核物理的研究生時，他對王震講：“妳怎麽找了個研究生當秘書？秘書不需要這麽高的學歷，妳應當讓他歸隊。”王震對此很重視。
1975年，張愛萍同誌回到國防科委工作，王震副總理把伍紹祖推薦給張愛萍，還親自寫了壹封信，說讓伍紹祖去了以後不要當大官，要從最低的職務幹起。10月份，伍紹祖剛辦完參軍手續就去新疆馬蘭的核試驗基地參加試驗。伍紹祖有很多大學同學被分配在這個基地，所以那段時間壹天到晚都沈浸在快樂之中。
張愛萍同誌是伍紹祖的第三位社會老師。伍紹祖在國防科技工業戰線工作的近14年深受他的影響。他非常註重個人品德修養，具有非常堅定的***產主義理想、抱負。他還有非常高尚的情操和文化修養。有壹次，伍紹祖提出原子能事業要為國家多做貢獻時，他在伍紹祖寫的報告上批示：“要在保證軍用的前提下，把重點轉向民用。”這就是後來核工業部和其他軍工部門提出的“保軍轉民”口號的由來。所以，伍紹祖把張愛萍同誌稱為工作的老師 。 1988年12月中旬，伍紹祖在京西賓館參加中央軍委工作會議時突然接到時任中組部副部長劉澤鵬的電話，說要把伍紹祖調到國家體委當主任。
嚴格說來，伍紹祖對體育是壹個外行。作為國家體委主任，伍紹祖在高層次上既要管體育，又要管運動，有時確實不知道怎麽辦。不懂就要學習，壹學就是11年半，直到伍紹祖離開國家體育領導機關時也不能算是搞明白了，但應該說是努力了。
作為體育領導機關的壹把手，到了很多地方都要講話，伍紹祖不願意隨便講，這確實花費了許多時間和精力。伍紹祖曾開玩笑說，伍紹祖講壹小時話，平均要想5個小時，秘書根據錄音整理出來最後形成定稿大概要10個小時。2008年，秘書們選出100篇講話編成《伍紹祖文集——體育工作卷》，由人民出版社出版，較全面地記述了我在體育部門工作的11年零4個月經歷的壹些事，反映了改革開放30年中間的壹段的體育工作情況，從壹個側面折射了改革開放的成就。
伍紹祖在國家體育工作部門做了以下壹些事情，包括制訂《中華人民***和國體育法》和《奧運爭光計劃綱要》、《全民健身計劃綱要》，簡稱“壹法兩綱”；轟轟烈烈地開展全民健身運動；完成國家賦予的重大競技體育任務，如圓滿完成第十壹屆亞運會的工作等；開展反對使用興奮劑的工作；積極推進整個體育事業的改革；進行了運動項目管理改革；抓了申辦第27屆和第29屆奧運會的工作 。 2000年4月15日，中組部突然通知伍紹祖調離國家體委，那時伍紹祖正在緊張備戰悉尼奧運會和申辦第29屆奧運會。盡管壹般都認為臨陣換將不好，但伍紹祖表示堅決服從組織。5月下旬，伍紹祖被調到中直機關工委。2002年接替武連元擔任常務副書記。2004年5月，原中央組織部副部長孫曉群接替我擔任常務副書記。在交接工作時，伍紹祖認認真真地向他交待了50件正在做的事情。從那時起，伍紹祖就專心做全國政協的工作了。
2008年3月2日，伍紹祖的十屆全國政協委員的任期結束了。伍紹祖說：“ 如果我能活到80歲，作為壹個馬克思主義者，要積極地看待生死。壹方面要與隨之而來的疾病作鬥爭，另壹方面要像革命先烈壹樣視死如歸。我想，如果我走了，就把骨灰埋在壹棵樹下，讓這顆樹長大成蔭，為地球增添壹點綠色。”