陳の太子中庶子虞茘の子として生まれる。幼くして態度が落ち着き、博学でかつ才能が人並み外れており、草書・隷書に巧みであった。中書令の孔奐は彼を「南金（南方の優秀な人材）の貴」と評し、太子少傅の徐陵は彼に会うと「今の潘岳・陸機だ」と言って、姪を彼に嫁がせた。初め陳に仕えて建安王の法曹参軍事となり、祠部殿中二曹郎・太子中舎人を経て、太子中庶子・散騎常侍・尚書左丞に移る。陳の後主が幕府山で狩りを催した時、虞世基は「講武賦」を奉り後主に褒められた。陳が滅亡すると隋に仕えて通直郎となるが、家が困窮したため書物を書写して生計を立て、それで親を養った。しばらくして内史舎人となった。
煬帝が即位すると、秘書監柳䛒の推薦により内史侍郎に抜擢され、蘇威・宇文述・裴矩・裴蘊とともに政治を掌り、「五貴」と称された。当時全国からの上奏は1日に100を数え、決裁が滞っていたが、虞世基が入省して勅書の作成を掌ると、1日に100枚を書き上げ、しかも書き損じがなかったという。煬帝は虞世基の才能を評価し、彼をますます礼遇した。大業8年（612年）、高句麗遠征の時には金紫光禄大夫に昇進した。大業11年（615年）、煬帝が雁門で突厥に包囲されると、虞世基は将兵に恩賞を与え、高句麗遠征を中止する詔勅を出すことを進言した。煬帝が進言に従うと将兵は奮い立った。しかし包囲が解かれると約束は反故にされたため、これ以後朝野の人々の信頼を失った。
大業12年（616年）、煬帝は江都に御幸しようとした。虞世基は反乱が盛んになっていることを憂えて、洛口倉に兵を留めて不測の事態に備えるべきだと煬帝に進言したが、聞き入れられなかった。当時天下は大いに乱れていたが、虞世基は煬帝が諫言を聞かず、高熲・張衡らが相次いで誅殺されたことから、自らに災いが及ぶことを恐れ、煬帝の気に入らないことは報告しなくなった。反乱の報告が届けられると、それを虚偽だと言上したため、これ以後煬帝に報告する者はいなくなった。また虞世基の後妻の孫氏は驕慢で奢侈を好み、その連れ子の夏侯儼は盛んに賄賂を取っては蓄財に励んだため、人々の怨みと憎しみを買った。
大業14年（618年）3月、宇文化及が反乱を起こし煬帝を殺すと、虞世基も同じく殺された。