只有那不為名利爭破頭的人才能做到“無心插柳柳
乾隆年間春天的某日，皇帝南巡的隊伍浩浩蕩蕩地行進在山東省濟南府的官道上。由於道路剛經地方整修灑掃，所以沒有太多的風塵。
坐在鑾輿中的乾隆皇帝正興致勃勃地觀賞著官道兩旁綠色的農莊景色。
忽然，遠處隱隱現出壹處莊院來。那裏楊柳成行，溪水環繞，別有壹番幽雅風致。這位天性喜歡遊山玩水的風流天子，見此不覺來了興致，急令鑾輿停下，自己要步行前往遊觀壹番。
來到門前，乾隆不覺詫異，只見前門門聯赫然寫道：心為大清，不要管劉姓何姓；誌在報國，何必分漢人滿人。橫批是：“天下第壹家”。乾隆想：
這普天之下，除了我愛新覺羅氏這壹支，還有誰敢來妄稱什麽天下第壹家呢?更何況這又是壹戶普普通通的農家呢!實在有點可笑。不過，奇怪之下，乾隆更想前去探個究竟。
叩開門後，院子裏走出來壹位黑胡子老頭，大約有六七十歲，穿著雖很樸素，倒很整潔。乾隆便上前問道：“請問這‘天下第壹家’作何解釋?”
老人只是搖頭，說：“這事得問我的父親。”
乾隆跟隨老人來到二門。老人輕輕敲了幾下門，又迎出來壹位花白胡子的老人，大約有九十歲的模樣，衣著也很樸素。乾隆施禮問題：“請問，這‘天下第壹家’何以解釋?”
花白胡子老人也只搖頭說：“這事還得問我的父親。”
這時乾隆也更為驚奇，兩位老者儀態高雅，舉止不凡，想必此家確非壹般人家!
第三道門打開後，迎出來壹位滿頭銀發的老人，足有百歲開外的年紀。
他穿著壹身青布衣裳，拄著壹根制作相當精良的龍頭拐杖，面容神采雋鑠。
乾隆見狀，趕緊上前行禮，而老人連忙將乾隆挽起，並口稱“不敢”。
正在隨從們為皇上向壹個鄉下老人行禮而奇怪時，就聽乾隆對老人說：
“我在年幼時就聽皇祖(康熙)說過，他曾將壹根禦用龍頭拐杖賞賜給了濟南府的壹位功臣，並將它敕封為‘上打君，下打臣’，有至高無上的權威，我怎麽敢失禮呢?”
白胡子老人聽後並不作答，只是微微壹笑，隨後高聲喊道：“皇上駕到，家人還不速來見駕!”隨著這聲宏亮的叫聲，全家百十余口人很快都跪到了當院，見過皇上後，又都散去了。
乾隆被老人讓到正廳坐定後，又急不可待地向老人追問天下第壹家的來歷。老人卻不直接回答，只是捋了捋尺把長的白胡子，緩緩地說：“我家自秦漢以來，宗族興旺，枝蔓繁盛，遍及天下各府州縣，算起來總***出了八十名翰林，三位狀元，十二位宰相，王侯上百。如今老臣是五世同堂，全家***有人丁壹百單八個。”
說著話，又從櫥櫃裏恭恭敬敬地捧出來壹卷黃綾來。打開壹看，寫的正是“天下第壹家”，下邊還署有康熙的禦筆，並印有鮮紅的玉璽。
乾隆見狀，連忙對老人說：“這麽說來，此處就是劉墉劉愛卿的家啦。”
老人點頭說：“劉墉正是老臣的重孫。這孩子性情憨直，恐有不周之處，還望皇上海涵。”
乾隆笑著說：“正是因為劉愛卿能夠做到秉公正直，我才如此器重他呀!”
以上有關劉墉家世的情況，在北京有個廣為流傳的民間故事，名字就叫“天下第壹家”。
實際上，劉墉的祖籍並非在濟南府，而是在山東青州府諸城縣。他生於清康熙五十八年(1719年)，死於嘉慶九年(1804年)十二月二十四日。他和父親、東閣大學士兼軍機大臣劉統勛，侄子、吏部尚書劉镮之都葬在諸城白家莊。
諸城是個古老的縣邑。春秋時稱為“諸”，為魯國屬地，(春秋)莊公二十九年(公元前665年)曾有“城諸及防”的記載。秦時稱諸縣，隸瑯邪郡。
西漢時曾為瑯邪郡治，設有鹽鐵等官，是個比較富庶的地方。東漢時曾改為國，新莽末年呂母、逄安等起義就發生在這裏。北齊天保七年(公元556年)並入東武縣，故諸城亦稱東武。唐宋時多有遷革。元代為密州1治所，屬益都路管轄。明洪武二年(1369年)廢州設縣，仍稱諸城，隸青州I府管轄，至清代相沿不變。
諸城東部有瑯邪、雲母、烽火等山與膠州1交界，南部有馬耳、九仙等山與五蓮、沂水等縣搭界，北有濰水、盧水流匯人海，自然條件相當優越。這裏，山清水秀，土地肥沃，人文繁盛，為膠西南壹佳域。
在清代，劉氏家族無疑是諸城第壹望族，先後出了十余位進士，二十多個監生、舉人，做過官的人至少有三十位以上。
劉墉的曾祖父劉必顯，字微之，為順治九年(1652年)進士，做過戶部主事，後辭官家居，九十多歲後去世。劉必顯生有四子：劉楨、劉果、劉棨、劉棐。
劉墉的堂祖父劉果，字毅卿，順治十七年(16印年)進士。曾官山西太原推官，上任伊始即捐俸修文廟，設義學，勸讀山中百姓。又曾在太原、榆次等地興修水渠，引汾河水灌田，造福壹方。又曾“勤於勘驗，詳立條規”，扼制了當地居民喜好爭訟的習慣，在當地頗有聲望。後官至刑部主事，參與纂修(大清律)，多有貢獻。
劉墉的祖父劉棨，字弛子，康熙二十四年進士，為清代著名的清官，與張伯行、陳鵬年等人齊名，死後入選《國朝循吏傳》和《國朝先正事略》等書。
康熙三十四年劉棨出任長沙縣令時，正值長沙因裁兵而引起幹余士兵嘩變，劉棨出面周旋，並用縣倉所貯預支三月餉糧，終使騷亂很快平息，深受上司賞識。
康熙三十七年劉綮遷任寧羌知州I時，又值關中大饑，寧羌州1餓莩遍野，而州倉卻無現糧供賑濟，於是劉棨親自前往知府衙門借糧放賑，救活百姓無數，因而在當地享有很高的聲譽。次年受命賑濟洋縣，同樣受到上司和老百姓的壹片贊揚聲。
寧羌壹帶向來地瘠民貧，商品經濟欠發達，因而國家定額征收的賦稅百姓多有拖欠。鑒於此種情況，劉棨作了兩方面的工作，壹是改革征收辦法，允許老百姓交納蜜、栗等當地土特產品，而其中的運輸費用則由他自己負擔，從而減少百姓在流通環節中的附帶負擔。二是因地制宜地發展當地的經濟，增加百姓的收入。由於當地盛產槲樹，葉可養蠶，而當地居民不知也不會養蠶，僅用作燒火做飯的柴薪。劉棨覺得非常可惜，於是就從老家諸城請來蠶師，帶來蠶種，教民養蠶和織綢技術。當地人民非常感激他，稱他們所產的綢為“劉公綢”。後來劉宏謀出任陜西巡撫，又在全省推廣其法，陜西自此成為重要的蠶絲產地。
在寧羌知州任內，劉綮還廣興學校，培養人才，以致到後來他奔母喪時竟無錢返裏，只好讓弟弟賣掉自己的田產充作川資。可見他是壹個非常清廉正直、愛民如子的好官。
康熙四十三年，劉棨出任山西平陽知府，任內又多有善政。據光緒《山西通誌)記載說，劉棨出任平陽知府時，正值當地發生地震之後，滿目瘡痍未復，百廢待興。劉棨加意周恤，每逢年歲歉收，就開倉煮粥賑饑，年歲稍好則修茸文廟，整理樂器設施，重建鼓樓，開拓試院，纂修府屬三十四縣誌，很有壹番作為。因而“在任官吏有所約束盡心盡責，而老百姓則懷德畏服，善政不可勝舉”。他後來升任江西提刑按察使離任時，當地官民撒淚相送。
康熙五十七年(1718年)，劉綮在四川布政使任上去世，終年六十二歲。
劉綮生有十子，劉墉的父親劉統勛即是其壹。而劉統勛入仕雍正、乾隆兩朝，對乾隆朝影響尤大。