少林寺的歷史久遠，始建於北魏，後來，印度名僧菩提達摩來到少林寺傳授禪宗。以後，寺院逐漸擴大，僧徒日益增多，少林寺聲名大振。達摩被稱為中國佛教禪宗的初祖，少林寺被稱為禪宗的祖庭。禪宗修行的禪法稱為“壁觀”，就是面對墻壁靜坐。由於長時間盤膝而坐，極易疲勞，僧人們就習武鍛煉，以解除身體的困倦。因此，傳說少林拳是達摩創造的。
少林寺在唐朝初年就揚名海內。少林寺和尚13人，在李世民討伐王世充的征戰中助戰解圍，立下了汗馬功勞。唐太宗李世民後來封曇宗和尚為大將軍，並特別允許少林寺和尚練僧兵，開殺戒，吃酒肉。廟內有壹塊《唐太宗賜少林寺主教碑》，記述了這壹段歷史。由於朝廷的大力支持，少林寺發展成馳名中外的大佛寺，博得“天下第壹名剎”的稱號。宋代，少林武術又有很大提高，寺僧多達2000余人。明朝到達鼎盛時期。
在少林寺西約300米的山腳下，有壹處塔林，這是唐以來少林寺歷代住持僧的葬地，***250余座。這是中國最大的塔林。塔的大小不等，形狀各異，大都有雕刻和題記，反映了各個時代的建築風格，是研究中國古代磚石建築和雕刻藝術的寶庫。
少林寺內還保存了不少珍貴的文物。山門門額上懸掛的“少林寺”匾額，是清康熙皇帝親筆書寫的。山門後大甬道和東西小馬道旁立有碑碣數十通，稱為少林寺碑林。其中有兩通碑刻是留學中國的日本禪僧撰寫的。