早在唐代，九座寺就有南少林之譽。漳州東山島古來寺發現的清嘉慶年間《香花僧秘典》有載：“古來寺源承興化清源九座寺，唐懿宗鹹通年間，正覺禪師號曰智廣上人倡建，凡寺舍九座相連，故稱九座寺。事倡嚴整威儀，肅恭齋法，缽承南祖臨濟義宏禪師，廣傳臨濟正宗，寺僧五百余眾，由南少林之譽”，此為現存最明確記載“南少林”的古籍。仙遊於唐聖歷二年（699年）置縣，名清源縣，清源九座寺即當今仙遊九座寺，為古來寺的祖寺。明朝九座寺僧人雪熙賢南下弘法，在東山建古來寺；臨濟則是少林禪宗從達摩傳到六祖惠能後分野成五派中最大禪派。《秘典》中說明九座寺傳承和弘揚的正是“臨濟正宗”，且寺風禪法嚴整肅恭。當年九座寺擁有寺僧五百余眾，也符合南少林名剎應有的規模。
作為南少林文化源頭之壹的九座山和九座寺，當年和尚傳授與練習少林拳術遺跡至今可見，例如武僧練功的石擔。寺西北山上可屯兵千人的九龍寨（當地人稱“賊營”），能容納三百人練武的“第壹桓”石窟，上面還有“拳打臥牛之地”和練膽石等。