他自小酷愛山水，好讀史地書籍，而厭惡八股。從史地書籍中，他了解到祖國山河的壯美，向往綺麗的大自然。“平生只負雲山夢”，立誌涉九州登五嶽。
徐從 20 歲到 53 歲的三十多年中，在母親和妻子的支持下，先後遊歷了江蘇、浙江、福建、山東、河北、北京、湖北、河南、山西、陜西、廣東、江西、湖南、廣西、貴州、雲南等地，踏遍了大半個中國。但他有良好的道德品質，從未在任何名勝古跡，或幽谷洞穴中留下只言片句，但在崇禎元年（ 1628 年）遊歷廣東時，在高州河邊的觀山古寺的壁上留下壹首鮮為人知的絕妙的回文詩。
崇禎元年，二月二十日徐霞客離開家鄉江陰，遊歷閩廣。三月十二日進入福建。福建的崇山峻嶺，深洞幽谷叫徐霞客流連忘返，但九月份進入廣東後，自然景觀叫他非常失望。 十月二日 他來到廣東高州河邊的觀山古寺進香，看到悠悠的綠水，蒼翠欲滴的密林，艷麗的晚霞，飛翔的沙鷗，唱晚的漁舟，使他心曠神怡，詩興大發，不加思考地在寺廟的壁上，題了壹首詩：
悠悠綠水傍林偎，日落觀山四望回。
幽林古寺孤明月，冷井寒湖碧映臺。
鷗飛滿浦漁舟泛，鶴伴閑亭仙客來。
遊徑踏花煙上走，溪流遠棹壹篷開。
詩後題上了自己的名字。剛題完，只見本寺方丈深施壹禮，說道：施主真是好文筆，此詩叫鄙寺頓時生輝呀。聞此言，徐霞客羞得面紅耳赤，急忙用袖拭去徐霞客三字，壹邊拭壹邊說：“塗鴉之作，塗鴉之作，慚愧！慚愧！”此時方丈上前壹步托住他的胳膊，說道：“施主且慢，妳看，多麽絕妙的壹首回文詩呀，從前往後，順讀和仄押韻，即景生情。反讀：
開篷壹棹遠溪流，走上煙花踏徑遊。
來客仙亭閑伴鶴，泛舟漁浦滿飛鷗。
臺映碧湖寒井冷，月明孤寺古林幽。
回望四山觀落日，偎林傍水綠悠悠。
對仗工整，虛實結合，特別是“煙花”、“仙亭”真乃神來之筆，老衲多年想為本寺題壹首詩，可惜我才疏學淺，壹直未能如願。今天幸遇施主，真乃三生有幸。”徐霞客說：“拙詩有失本寺大雅，與自然之美，差之千裏，有失本寺形象。”說罷，拂袖便拭，方丈抱住徐霞客再三勸阻，徐霞客才作罷。但是提出兩個條件，（ 1 ）拭去徐霞客三字以免以後叫人笑話（ 2 ）不許寺中對任何人說起此詩是我所作，方丈欣然應許。
這首回文詩和觀山古寺壹樣，歷經時代風雨，飽經世代的變遷，但仍以它獨特的魅力，令遊覽者拍手叫絕。但此詩的作者卻成為壹個謎，鮮為人知。