嶽飛16歲的時候與劉氏成婚，生下了長子嶽雲和次子嶽雷。後來嶽飛從軍，隨宋軍抵抗金國，便托付劉氏照顧自己的母親，可是劉氏卻兩次改嫁，最後嫁給了韓世忠軍隊中壹個押運糧草的士兵。韓世忠後來讓嶽飛回去把劉氏接回去，可是嶽飛只派人送去了五百錢，並沒有將劉氏接回去。
後來，嶽飛四處征戰，在戰亂中認識了李娃，兩人產生了感情，最後結婚。嶽飛從不納妾，只是與李娃相守，兩人的感情很好，生下了三子嶽霖、四子嶽震和五子嶽霆。嶽飛還有兩個女兒嶽安娘和嶽銀瓶，但不知其為劉氏還是李氏當中的誰所生。
長子嶽雲及其後人
嶽雲很小的時候就跟隨嶽飛四處征戰，頗有戰功，是中國歷史上著名的?少年將軍?。嶽雲與其父嶽飛於1142年除夕夜壹起被害，死時年僅23歲。
嶽雲死前娶妻鞏氏，育有二子壹女，長子嶽甫在嶽飛被平反昭雪之後，被朝廷授予官職，最後做到了吏部尚書的高官。而次子嶽申和小女兒嶽大娘的生平史書並無記載。
但是嶽雲這壹脈開枝散葉很快，在今天的安徽省合肥市居住著近萬名嶽雲的直系後裔，分布在合肥的三個區縣。
次子嶽雷及其後人
嶽雷小時候曾今因為戰亂失散，後來被找回，嶽飛被陷害入獄的時候，嶽雷只有16歲。嶽雷十分孝順，自願投入獄中照顧嶽飛。嶽飛死後，嶽雷和他的母親壹起被發配到雲南。
大約在嶽飛被平冤昭雪的前不久，嶽雷帶著老婆溫氏從雲南回到今湖南長沙居住。嶽飛被平冤昭雪之後，嶽雷被朝廷封為閣門祗侯，忠義郎，後來又被改封為武義郎，翰林院大學士。
嶽雷回到長沙的時候，已經有了兩個女兒嶽二娘和嶽三娘，四個兒子，長子嶽經、次子嶽緯、三子嶽綱和四字嶽紀（經緯、綱紀）。可見嶽雷壹家雖然遭到的朝廷不公平的待遇，但是從他孩子的名字上來看，他還是把國家放在第壹位的。
嶽雷的子孫幾經變遷，現主要分布在河南省鶴壁市和安陽市，河北省邯鄲市，山東省聊城市，部分分布在雲貴等地，其直系子孫大約有數千人。
三子嶽霖及其後人
嶽飛遇害的時候，嶽霖只有12歲，等到嶽飛平冤昭雪的時候，他已經32歲了。
嶽霖後來被朝廷封為右承事郎，又授南贛都督，在宜興食邑。都督壹級的官已經相當不錯了，而且還有食邑。嶽霖娶妻陳氏，育有二子，長子嶽琛和次子嶽珂，壹個女兒嶽瓔。
嶽霖後來在朝為官，擔任過壹些小官；嶽珂比較有出息，他不僅考上了 進士，還成為壹個文學家和歷史學家。他曾今和父親嶽霖壹起廣泛收集嶽飛的事跡，編成了壹本書《鄂國金佗稡編》及其續篇。不僅如此，嶽珂還歷任嘉興軍府、浙西財賦，還被封為通城開國伯的爵位。
嶽霖的直系後人當中比較出名的是清朝的四川都督、三等威信公嶽鐘琪，但是嶽霖的其他後裔分布在哪裏，歷史記載不詳。
四子嶽震、五子嶽霆及其後人
嶽飛遇害的時候，嶽震只有7歲。當時嶽震和弟弟嶽霆居住在江西廬江下沙河，在聽到嶽飛遇害的消息後，便於弟弟壹起改姓鄂，潛逃到黃梅縣大河之濱，後來又遷到聶家大灣居住。直到嶽飛被平冤昭雪之後，嶽震和弟弟嶽霆這才表明身份，嶽震被朝廷封為朝請大夫，後來又被封為緝忠侯。而嶽霆
嶽震娶妻周氏，育有六子，分別是嶽瓚（念壹）、嶽琬（三）、嶽玭（念四）、琚（念六）、嶽躊（念七）、嶽璇（念九）；而嶽霆則娶妻劉氏，育有三子，分別是嶽蹯（念二）、嶽與（念五）、嶽琨（念八）。那麽這幾個孩子加起來就是壹二三四五六七八九，至於為何這樣取名，我們不得而知，但是很有意思。
現如今在湖北麻城、陜西、江西、四川等地均有嶽震和嶽霆直系子孫分布。