相傳秦穆公之女弄玉與蕭史的愛情故事發生在這裏。古稱仙遊得名。
仙遊寺始建於隋文帝開皇十八年(598)，稱“仙遊宮”。隋仁壽元年(601)，楊堅為了安置佛舍利，於十月十五日命大興善寺的高僧童真送佛舍利至仙遊宮建塔安置，改稱仙遊寺。唐大中年間(847—859)，宣宗李忱將仙遊寺拆建為三寺：黑河南岸的名仙遊寺（亦稱南寺），河北名中興寺（亦稱北寺）另壹寺已於宋以後的戰亂中損毀。明代英宗正統六年(1441)，仙遊寺由西域喇嘛桑加巴主持，修復擴建，易名普緣禪寺，明末毀於兵燹。清代康熙二年(1663)募捐重修寺院，恢復仙遊寺的原名，乾隆、道光年間以及民國初年，再次修葺。