1928 年，劉玉林初中畢業後考入通州潞河中學，因組織進步學生成立“讀書會”， 閱讀進步書刊，被校方開除學籍。
1930 年，劉玉林受黨組織的派遣，進入保定第二師範學校學習。根據中***保屬特委指示，擔任保定二師學生會負責人，並負責領導中***保屬特委為照顧烈士家屬的生活而建立的革命互助救濟會工作。1931年12月，中***保屬特委為籌備廣州起義4周年紀念活動,決定12月11日下午在保定舉行較大規模的 “飛行集會”, 劉玉林被指定擔任宣傳和傳單散發總隊長。他手執紅旗,高喊“打倒國民黨”、“擁護中國***產黨。”、“紅軍萬歲”等口號 , 按照指揮部的命令來到保定南關大橋。參加“飛行集會”的隊伍迅速從四面八方湧來。劉玉林高舉紅旗 , 率隊奔向鬧市區，壹路上高呼口號，散發傳單，完成了組織上交給的任務。
“飛行集會”後，劉玉林受命深入保定工人中間，向黃色工會進行鬥爭，查出黃色工會準備向上報送的赤色工會積極分子名單和他們貪汙、販毒、聚賭的罪證。其罪證公布後，激起工人們的極大憤怒。警察局不得不將黃色工會頭目某國民黨特務查辦，解散了黃色工會。赤色工會的工作在劉玉林領導下迅速開展起來。
1932 年,中***保屬特委組織了壹次有工人、農民參加的大集會。劉玉林在會上痛斥日本侵略者殘害中國人民的罪行，激發了廣大人民群眾的愛國熱情。各學校紛紛組織宣傳隊，深入工廠、農村進行愛國宣傳。以劉玉林為首的保定學生還起草了《告全國學生同胞書》，號召全國人民團結起來，打倒帝國主義，此即著名的保定二師學潮。
國民黨當局對保定二師師生的革命行動極為恐懼。派出大批軍警、特務荷槍實彈把保定二師包圍起來，要學校交出***產黨員。劉玉林臨危不懼毅然擔當起護校大隊隊長，領導學生與軍警進行頑強的鬥爭。7月6日夜,國民黨軍警扒開校墻，並開槍射擊沖進學校。在掩護全體師生突圍中8名同學犧牲，4名負重傷，劉玉林等35 名同學被捕。劉玉林被捕後，受盡酷刑堅貞不屈，未暴露黨的任何秘密。
1932年9月7日，反動當局對劉玉林再次提審，說：“只要妳不再為***產黨做事，就立即放妳出去。”劉玉林高聲說：“我生為人民解放而生，死為反抗軍閥統治和帝國主義侵略而死。我相信真理永存，我們的主張不久就會實現。”反動當局誘降失敗，便將劉玉林等4人押到保定南關殺害。在去刑場的路上他們高唱《國際歌》，並高呼“打倒國民黨 !”、“***產黨萬歲 !”等口號。