1159年，牛若誕生後不久，父親源義朝即於平治之亂中為平清盛所敗，隨後於逃亡途中在尾張遇害，源氏壹族亦非死即逃。母親常盤帶著牛若及牛若的兩名同母兄今若、乙若逃往大和山中，沒多久，常盤的生母被平家逮捕，常盤只好攜子自首。平清盛因貪戀常盤的美色，遂納常盤為妾，並赦免常盤生母及牛若兄弟等4人。
數年後，常盤又被嫁給公家貴族藤原氏的壹條長成，而牛若在7歲時（1165年）被送到鞍馬寺（京都市左京區）學習。之後由壹位稱為聖門坊的僧侶處得知自己的身世。
傳說某夜，牛若偷溜出寺，在僧正谷（僧正ヶ谷）遇到武藝高強的“烏天狗”，後來牛若便常常夜遁至天狗處學習武藝。住持東光坊某日發現牛若不但夜遁習藝而且圖謀打倒平家後大驚失色，雖欲強迫牛若出家，但牛若不肯，最後姑且先起法名為“遮那王”，命牛若靜心學習，忘卻俗世。
傳聞遮那王11歲（1169年）某日在回寺的路上，途經五條大橋時，遇見壹位稱為武藏坊弁慶（日：武蔵坊弁慶／むさしぼうべんけい）的武勇僧侶攔路。弁慶當時在該地進行“刀狩”，只要看上往來武士身上的太刀便要求比武，在遇到遮那王之前已經強奪了999把太刀。弁慶看上了遮那王身上所配之黃金寶刀，故技重施，豈料遮那王武藝高強，身輕如燕，弁慶雖然武勇縱橫，但卻處處受制，攻而屢挫。以柔克剛的遮那王讓膂力過人且壹向仗恃剛勇的弁慶敗得口服心服，從此弁慶便跟隨在遮那王左右，成為日後遮那王最親密的家臣之壹。
見《義經記》