達摩禪師是古代天竺（今印度）香至國王第三子。他為到中國傳播佛教，遠渡重洋，經過三年的艱辛航行，於我國南北朝梁武帝普通年間（6世紀20年代）到達廣州。當時廣州的海岸在今下九路附近。達摩禪師在繡衣坊碼頭登陸上岸。
達摩禪師來華後，人們在繡衣坊碼頭附近營造傳教建築，名為"西來庵"。達摩在西來庵宣傳佛教佛經，為中國佛教禪宗的創立起了重大作用。這壹帶後來被稱為"西來初地"。意即"初祖"（達摩被尊為中國佛教禪宗初祖）西來我國傳教的最初登陸地。
"阿姨家近繡衣坊，
嫁得閩商慣趁洋，
聞道昨宵巴塞轉，
滿船都載海南香。"
（巴塞指今越南南部）
葉廷勛這首西關竹枝詞反映海上客商聚居繡衣坊。西來庵也由於附近聚居人多而香火甚盛。
今下九路有西來初地、西來正街、西來西街、西來東街、西來北街、西來後街、西來新街，這些街名均是為紀念達摩禪師西來傳教，與"西來庵"名字有關。