虞荔字山披，会稽余姚人。其祖父虞权，任梁朝廷尉卿，永嘉郡太守。父亲虞检，任平北始兴王谘议参军。

　　虞荔年少时聪慧敏捷，有志操。九岁时，跟随伯父虞阐拜访太常陆亻垂，陆亻垂询问他与五经有关的十件事，他对答如流，没有遗漏，陆亻垂觉得他不同寻常。后曾到隐士何胤处，恰逢太守衡阳王也在那儿，何胤把虞荔介绍给衡阳王，衡阳王想会见虞荔，他却推辞说：“没有官爵，无颜拜见。”于是衡阳王认为他志操高尚，很钦重他，回郡后，召任虞荔为主簿，他又以年纪轻为由推辞。长大后，他风仪俊美，博览群书，擅长写文章。初任梁西中郎行参军，不久又代任法曹外兵参军，兼丹阳诏狱正。那时梁武帝在城西建士林馆，虞荔于是撰写碑文，上奏武帝，武帝诏令把碑文刻在馆内，又任虞荔为士林学士。不久虞荔任司文郎，又调任通直散骑侍郎，兼中书舍人。当时他身边的人，大多参与争夺卿相职位，朝廷内外的军政大权，时有控制，只有虞荔和顾协淡然处之，住在西省，以通晓文史而知名，当时人称赞他们清廉。不久虞荔任大著作。

　　侯景之乱时，虞荔带着家人住进台城，任镇西谘议参军，舍人职务不变。台城陷落后，他逃回乡里，侯景之乱平定后，元帝征召虞荔任中书侍郎，贞阳侯任命他为扬陈书州别驾，他都未就职。

　　张彪据守会稽，虞荔当时正在那里。文帝平定张彪之乱后，高祖给虞荔写信说：“丧乱以来，贤臣哲士凋散，你才能出众，闻名许、洛，现今朝廷百事待兴，广求英才，你岂能栖居东南隅，只顾保全自身呢？现令你携家来京，希望你帮助朝廷渡过虚滞阶段。”接着文帝又写信给他说：“你在东南一带有美名，声誉很大，本应来到京许，共同匡正时弊，而你却隐迹故里，独善其身，难道这称得上宏远之志吗？愿你整点行装，且来京都。开诚相见，就在现在。”虞荔迫不得已，便应命赴京。高祖崩，文帝继位，任虞荔为太子中庶子，侍奉太子读书。不久任大著作，东扬州、扬州二州大中正，太子中庶子职务不变。

　　当初，虞荔母亲随他住进台城，死于城内，不久台城陷落，没法行礼仪节，从此，虞荔粗食布衣，不听音乐，虽然官职高待遇好，而他居所简陋，毫无营造之意。文帝很器重他，常常带在身边，以便随时咨询。虞荔品性沉静细密，少言语，他的诤言劝谏之语，他人没有机会得知，所以无法记载下来。

　　那时虞荔的二弟虞寄暂居闽中，投靠陈宝应，虞荔每每谈到他就流泪。文帝同情他并对他说：“我也有弟在远方，思念之情甚切，他人岂能了解。”文帝便下诏向陈宝应索求虞寄，但陈宝应始终不放虞寄。虞荔因此生病，文帝多次探视。文帝诏令虞荔让家人入禁城探病，而他以禁城非私人住所，乞求住到城外，文帝不答应，便让他住在兰台，皇上多次探视，且持诏书前往探视的人络绎不绝。文帝又以虞荔食素太久，瘦弱不堪，下诏说：“你能独钟布衣素食，实为高尚，只是你年岁已高，精力减退，朕正想倚重委任于你，非常希望你身体健壮，现给你鱼肉，你不要固执己见。”虞荔还是不从命。天嘉二年(561)去世，时年五十九岁。文帝很是伤感，追任他为侍中，谥号德子。当虞荔的灵柩将送回故里时，文帝亲往临送，时人以为荣显。其子虞世基、虞世南，都是年少即有名气。