宋江刺配江州時，途經揭陽嶺。李俊聽聞消息，便與童家兄弟在嶺下等候，卻與宋江錯過。宋江在李立的酒店裏吃酒，卻被李立用蒙汗藥麻翻，險遭殺害。李俊久候不至，返回嶺上尋找李立，恰遇李立要宰殺宋江，便將宋江救下。宋江到李俊家中小住，還與他結為兄弟。
宋江離開揭陽嶺後，在揭陽鎮打賞病大蟲薛永，得罪了穆弘兄弟，被穆家兄弟率莊客追至潯陽江邊。他情急之下，又上了船火兒張橫的黑船。張橫將船駛至江心，要奪宋江的財物，並逼他跳江。李俊恰巧撐船碰見，再壹次救下宋江。宋江與張橫、穆弘等人化敵為友。
宋江在江州題反詩，遭黃文炳告發，與戴宗被判斬首，卻被李逵以及梁山泊十七位頭領劫法場救出。李俊與張橫、穆弘等九人也駕船趕赴江州，要救宋江，卻在江邊白龍廟與宋江等人相遇，壹行二十九人便在白龍廟聚會。 而後攻打無為軍，李俊協助張順生擒黃文炳。 李俊上山後，與李逵壹同鎮守山前旱寨。 後隨征祝家莊、高唐州、青州、華州。
宋江成為梁山首領時，重新調整將佐職責。李俊改鎮水軍寨，並在水軍頭領中位居第壹。
二打大名府時，李俊與張順出戰誘敵，將索超誘至陷坑，使得索超被梁山擒獲。
梁山排座次時，李俊排第二十六位，星號天壽星，是水軍頭領第壹位，與阮小二壹同把守東南水寨。
三敗高俅時，梁山水軍大顯神威。李俊擒殺金陵水軍統制官劉夢龍，又與張橫合擒京北弘農節度使王文德。 梁山受招安後，李俊隨宋江南征北戰，屢立戰功。
征討遼國時，李俊率領水軍奪取檀州水門，協助宋軍攻占檀州。 後輔佐趙樞密，留守檀州。
征討田虎時，李俊隨關勝連破榆社、大谷等縣。他聽聞盧俊義攻太原不下，便辭別關勝，冒雨馳赴盧俊義軍中，進獻水攻之計，掘開智伯渠，水灌太原。 太原城被大水淹沒後，李俊率水軍乘飛江、天浮，奪取四處城門，只殺得城中“雞犬不聞，屍骸山積”。
征討王慶時，李俊率水軍大戰瞿塘峽，殺死水軍都督聞人世崇，義釋副將胡俊，奪取雲安州，斬殺留守施俊，後又和童家兄弟扮做漁人，埋伏在清江邊上，生擒寇首王慶。 他在胡俊的協助下，招降東川、安德，使得“農不離其田業，賈不離其肆宅”，在平淮西之戰中功居第壹。
平定淮西後，梁山軍班師回朝，駐紮在東京城外。朝廷卻頒下詔令，禁止諸將擅自入城，梁山諸將盡有怨言。李俊與三阮、二張等水軍頭領去請軍師吳用做主，表示要劫掠東京，復回梁山泊落草。但吳用卻不敢主張，李俊等人只得作罷。
征討方臘時，李俊率水軍收復江陰、太倉，並與童威、童猛到太湖偵察，在榆柳莊與費保、倪雲、蔔青、狄成四人結義，後協助宋江攻占蘇州，斬殺飛水大將軍昌盛。 宋江取杭州，李俊率軍攻打靠湖門，與石秀率先登城，合擒守將吳值。 後來，李俊又率水軍頭領到清溪城中詐降，被方臘封為水軍都總管，而後在城中縱火，協助大軍破城，最終平定方臘之亂。 宋元時期的《大宋宣和遺事》中，宋江三十六部下中有“混江龍李海”，便是李俊的原型。而同時期龔開的《宋江三十六人贊》中，李俊亦在其中，贊言為“乖龍混江，射之即濟。武皇雄尊，自惜神臂”。這兩部文學作品都被認為是《水滸傳》的雛形或藍本，也應是李俊這壹人物形象可考的較早出處。
有研究者認為，李俊出海稱王的結局，借鑒了唐傳奇《虬髯客傳》的故事傳說。 另外，百二十回本中“混江龍水灌太原城”的情節，可能取材自《宋史》中宋太祖趙匡胤水淹太原的史實。
此外，南宋初年的著名海盜鄭廣綽號”滾海蛟“，也被部分人認為可能是李俊的原型之壹。 “混江龍”是壹種治河刷掃河沙的工具。宋代為清理黃河泥沙，發明了壹種巨大的鐵耙，攪動水底泥沙，使沙順水流走。 這種鐵耙名為“輥江龍”，也稱“混江龍”。清代靳輔治河時，還曾使用混江龍爬河，後因河督高晉以為無益而廢置。李俊以“混江龍”為綽號，有翻動江河之意。但是否與該治河工具有關，無法確證。
也有人認為，李俊起初只是江湖壹好漢，最後卻能在化外為王，綽號“混江龍”，暗喻他是“混”入江湖的“真龍”。