祖逖字士雅，範陽遒縣人。祖逖少年時父親去世，他性格豁達，不修習儀表。但他輕視財物看重義氣，為人慷慨有氣節，每到農家，就托稱哥哥的心意散發谷物布帛來接濟貧困人家，鄉間宗族的人們都很敬重他。後來他就博攬群書，多涉獵古今史實，見到他的人都說他有治國的才幹。他與司空劉琨同任司州主薄，兩人誌趣相投，***臥就寢。半夜聽到野雞啼叫，祖逖用腳把劉琨踢醒，說：“這雞鳴不是壞聲音呀。” 於是起床習舞劍藝。
比及京城洛陽發生變亂，祖逖率領親族數百家避難到淮河、泗水地區，他用自己所乘坐的車馬收載壹同逃難的老人和病人，自己步行。所帶的藥物和衣服糧食與大家***同分享，祖逖很有計謀，因此老少都以他為首。到達泗口後，晉元帝司馬睿任命他為徐州刺史。祖逖因為西晉政權遭顛覆，常常懷有振興復國的大誌。當時晉元帝正在拓展平定江南地區，無暇北伐，祖逖就進言，元帝就任命祖逖為奮威將軍，並提供可供壹千人吃的糧食和三千布匹，但不提供盔甲武器，讓他自己招募士兵。祖逖就帶領著先前同流亡來的部屬幾百戶鄉親壹起渡過長江，船到江心，他用船槳敲擊著發誓說：“我不能掃平中原而再來渡過這條江的話，就像大江流逝不能復反。”他言辭形容慷慨壯烈，大家都為之慨嘆。
祖逖屯兵江陰，發起冶煉鑄造兵器，又招募了兩千多新兵，然後進發，隨後攻克了譙城。祖逖鎮守雍丘，多次派遣軍隊攔截石勒部屬，石勒屯兵戍守的地盤日漸狹小。石勒又派遣壹萬精銳騎兵來抗拒祖逖，再次被祖逖打敗。石勒手下鎮守戍衛的士兵歸附祖逖的很多。祖逖親愛眾人禮賢下士，即使關系疏遠地位低下的人，都以恩禮相待。因此黃河以南地區都成了晉朝的土地。
祖逖自己生活儉樸，獎勵督促農業生產，自我節省盡量資助他人，不積蓄私有財產，他的子弟輩從事農耕打柴。他又為死者收葬枯骨，百姓感動高興。石勒不敢出兵到黃河以南，命人在成臯縣修祖逖母親的墳墓，並寫信給祖逖，請求互通使節和互市貿易。祖逖不回書信，但聽任雙方互市，獲利十倍，因而官方、私家都富足起來。兵馬日益強壯。