青藤書屋，原先稱“榴花書屋”。嘉慶重修《山陰縣誌》卷二十八載： “榴花書尾，在大雲坊大乘庵之東，徐渭降生處。”榴花書屋的主人，就是徐渭的父親徐鍵。屋前有池，方不盈丈，不涸不溢，號稱“天池’，旁有大安石榴樹，書屋因此得名。池邊青藤壹株，為徐渭手檀，枝幹蟠曲，不如虬松，覆蓋方池。池的周圍有石欄，造作古樸。近北橫臥平橋，下以方柱承托，柱上刻“砥柱中流”，橋上建書屋，構柱上刻楹聯： “壹池金玉如如化，滿眼青黃色色真”，背刻“自在巖”。這些都是徐謂的手書。 徐謂二十歲考中秀才，入贅潘克敬家，從此離開了榴花書屋。嘉靖二十三年(1544年)，徐渭的長兄徐淮故世，榴花書屋也出賣了。幸虧明末崇禎六年(1633年)山陰進士金蘭發起保護，在大雲坊建碑，上刻“徐文長先生故裏”，並以書屋為學舍，授徒講學。崇禎末年，陳洪綬從諸暨遷居徐洞故宅，手書“青藤書屋”匾，從此，“榴花書屋’易名為“青藤書屋”。明朝滅亡，在紹興的魯王政權失敗，陳洪綬移居城南薄塢，削發為僧。青藤書屋蕩為荒煙蔓草。到康熙二十壹年(1682年)施勝吉從潘姓那裏購得青藤書屋，重新修葺，妥加保護。黃宗羲為此寫過《青藤行》，詩由雲：“斯世乃忍棄文長，文長不忍壹藤棄。吾友勝吉加護持，還見文長如昔比I”乾隆，嘉慶年間，陳無波從施氏處購買青藤書屋，進行擴建和重修，把青藤書屋分為八景：天池，漱藤阿，自在巖，孕山樓、渾如舟、酬字堂，櫻桃館、柿葉居，還請錢大聽和鄭板橋題匾，阮元撰寫《陳氏重修青藤書屋記》刻於石上，嵌於壁間。陳氏壹片熱心，只可惜把原貌改變了，也不符文長當年身世。
壹九六七年，青藤書屋被毀，只留卞破屋殘壁，雕零古樹。壹九八O年，紹興縣文物管理委員會重修青藤書屋，清理天池，復原石欄，補植青藤，挖出水並，重修楹聯，修建書屋，整治小園，完全按照文物保護單位維修的原則，恢復了青藤書屋本來的面貌。
青藤書屋歷經四百多年歷史，幾經變遷，雖壹度荒蕪，但方池，石欄，題刻，青藤，楹聯，徐渭親筆所題“壹塵不到”匾，陳洪綬書寫的“青藤書屋”匾，都保存了下來。書屋三間，單披平房，陰陽臺瓦，青磚鋪地，雖經後人改建，部分構件還是原物，後面是內室，與書屋僅壹墻之隔，實際上同——梁架。屋時為小園，古樹蔽日，修竹婆娑，假山數塊，卵石小徑，還有桂、梅、石榴、芭蕉，雖非奇花異石，倒也清幽不俗，體現了古代漢族勞動人民的藝術創造力。