仙遊寺吸引遊客原因之壹，是這裏有許多歷代著名文人墨客的軼聞遺跡，其中有東漢末年的經學大師馬融、唐代王勃、岑參、李商隱、朱慶余等，特別是著名詩人白居易曾在這裏壹氣呵成寫下了以李隆基和楊玉環的愛情故事為主題的長詩《長恨歌》，成為時代相傳的千古絕唱。白居易還寫有《送王十八歸山寄題仙遊寺》：“曾於太白峰前住，數到仙遊寺裏來。黑水澄時潭底出，白雲破處洞門開。林間暖酒燒紅葉，石上題詩掃綠苔。惆悵舊遊那復到，菊花時節羨君回。”在岑參的《冬夜宿仙遊寺南涼堂呈謙道人》中，仙遊寺的山光水色如在眼前：“太乙連太白，兩山知幾重。路盤石門窄，匹馬行才通。”“昨夜山北時，星星聞此鐘。秦女去已久，仙臺在中峰。簫聲不可聞，此地留遺蹤。石潭積黛色，每歲投金龍。亂流爭迅湍，噴薄如雷聲。”“夜來聞清磬，月出蒼山空。空山滿清光，水樹相玲瓏。回廊映密竹，秋殿隱深松。燈影落前溪，夜宿水聲中。”文人士子和騷人墨客多喜這裏清幽脫俗，常來仙遊寺遊覽休息，相與酬唱，遞作笙簧。