有關該寺的由來，民間尚有多種傳奇和說法，孰是孰非，留待後人考究。
傳說終歸是傳說。但飛來寺歷經坎坷，長達行年卻是事實。《清遠縣誌》有記載：飛來寺由廣慶寺（飛來寺舊址）、飛來古寺、帝子祠、六祖殿、觀音殿等組合而成。此後，經歷代不斷修復、完善、擴展，成為嶺南三大古剎之壹。
然而，天有不測之風雲，飛來寺遭受了壹場千年的洪劫。那是1997年5月8日（農歷四月初二）的上午10時許，由於飛來峽壹帶連降暴雨，壹場千年不遇的特大山洪引發泥石流襲來，傾刻之間，整座寺院大部分建築被沖毀、掩埋，多尊珍貴菩薩塑像被沖入江中流走，7名僧尼和2名寺院職工、2名臨時工失蹤或死亡，現場壹片狼藉，慘不忍睹，損失極為慘重。
千年古剎飛來寺，就這樣突然地“飛走”了。古寺還能“飛回來”嗎？
面對災情，人們知難而上。在社會各界人士的支持下，飛來寺的救災重建工作進行得有條不紊。“幸得南天融融日，蓮官依舊聳林梢。”7年過去，在2004年5月的全市文化體育藝術節期間，壹座嶄新的、被譽稱為“人間佛國”的飛來寺又重新展現在人們面前。