相傳早在五代時期，白衣居士羅隱壹日來到花山，走到此處只見左右兩峰相抱，左為青龍，右為白虎，東南方向，前有五座山峰連綿疊嶂，與此處遙相呼應，形似“五虎臥地”。羅隱吟詩贊日：“地肖石獅含暖氣，峰成五虎臥寒煙。風少地，月當燈，藏風聚氣常旺僧。”
玉泉寺起初是壹個只有壹兩座大殿，幾間禪房，僧人甚少的小寺院，但卻以地佳幽靜、花多泉盛而揚名甚廣。據寺誌載，在原寺西南八十三步處，因生長白牡丹花而引人入勝。在開花處建有南、北花園，殿後山頂，立觀花壇和觀花亭。每逢春暖花開，遊寺賞花，香客熙攘，鐘聲繚繞。
玉泉寺歷經滄桑，屢毀屢建。明崇禎年間，住持僧單餳募捐增建殿堂兩進。清康熙、乾隆時，寺僧又相繼開墾種植，增田400余畝，建造僧房20余間。鹹豐年間，寺院及牡丹花均毀於兵火。現存寺廟建築為民國時期地方紳士集資重修。