程知節出身東平程氏，濟州東阿人。
曾祖父程興，北齊兗州司馬。
祖父程哲，北齊晉州司馬。
父親程婁，濟州大中正，後追贈使持節瀛州諸軍事、瀛州刺史。
程知節是唐初猛將，少驍勇，善於騎馬用槊擊刺。
隋煬帝大業六年（610年）起，盜賊蜂起，程咬金組織了壹支數百人的武裝，護衛鄉裏。
後投奔瓦崗李密，得到重用，為內軍驃騎之壹。
李密在軍中挑選出勇烈之士八千人，隸屬四驃騎，分為左右，號稱內軍。
李密曾自豪道：“此八千人可當百萬。”程知節領導其中壹軍，受到李密厚待。
618年（唐高祖武德元年），王世充與李密決戰。
王世充軍攻擊單雄信部，李密派遣程知節及裴行儼增援。
戰鬥中，裴行儼中流矢墜馬，程知節連斬數人，抱起裴行儼向後撤退。
追兵用槊刺穿他的身體，程知節將槊折斷，殺了追兵才逃脫。
李密戰敗，王世充俘獲程知節，任命他為將軍，待之甚厚。
619年（武德二年），因鄙夷王世充為人多詐，程知節與秦叔寶、吳黑闥、牛進達等數十人壹起投唐，被任命為秦王府左三統軍。
此後，程知節追隨秦王李世民，先後擊敗宋金剛、竇建德、王世充，每陣先登，屢立戰功，封宿國公。
唐武德七年，李建成、李世民兄弟爭位期間，程知節被外任為康州刺史，他對秦王說：“大王您的左膀右臂現在被壹壹斬除，身體還能長久保全嗎？知節就算死，也不能離開。”武德九年6月4日玄武門之變，程知節亦參與其中。
玄武門之變後，拜太子右衛率，遷右武衛大將軍，實封七百戶。
貞觀年間，歷任瀘州都督、左領軍大將軍。
與長孫無忌等代襲刺史，改封盧國公，授普州刺史。
貞觀十七年（643年）拜左屯衛大將軍，檢校北門屯兵，加封鎮軍大將軍。
太宗命人於淩煙閣繪制功臣二十四人畫像，程知節位列十九。
唐高宗永徽六年，遷左衛大將軍。
唐高宗顯慶年間（655年－657年），程知節以蔥山道行軍總管領兵出征西突厥阿史那賀魯，為唐朝與西突厥第二次戰役。
由於在恒篤城進行大屠殺，以及錯失戰機，返回後被免職。
沒多久，授岐州刺史，持節岐州諸軍事。
後上書請求辭官養老，高宗允之。
665年2月26日（唐高宗麟德二年）二月七日，程知節在懷德裏第去世，年七十七歲（虛歲），追贈驃騎大將軍、益州大都督，謚號襄，贈絹布壹千匹、米粟壹千石，陪葬昭陵。