《新唐书．陆龟蒙传》：“陆氏在姑苏，其门有巨石。远祖绩（三国时吴陆绩，字公纪）尝事吴为郁林太守。罢归无装，舟轻不可越海，取石为重。人称其廉，号‘郁林石’。”又见唐缺名《大唐传载》。

相传汉朝末年，吴郡陆绩在吴为郁林太守，罢官回家时，因为船轻难以渡海，便取一块大石装在船上，回到吴郡后，将这块石头弃于娄门野外。唐时陆龟蒙居住在临顿里，门外有一巨石，据说即此“郁林石”。明时巡按樊祉又移石建亭，始题名为“廉石”。清人陈鹏年在苏州为官时，又将此石移至郡学内，后遂为苏州一古迹。旧时常用以比称居官清廉。明人侯甸《西樵野记》“郁林太守石”，清人朱象贤《闻见偶录》“廉石”，关于此事都有载述，可以参阅。