1897年、浙江省紹興市山陰県生まれ。私立上海聖ヨハネ大学を卒業し、文学士の学位を取得した。1918年10月、アメリカ・ハーバード大学に留学して哲学博士号を取得し、さらに研鑽を積むためドイツに移ってベルリン大学で研究を続けた。専門は数理論理学と哲学であり、留学中にはアルバート・アインシュタインの相対性理論の授業も受講していた。1925年には、論文「数理論理学の問題の探求」(ドイツ語: Zur Grundlegung des Klassenkalküls)がアインシュタインが主編をつとめていた雑誌『数学の現況』に掲載されたりもしている。1928年、中国国民党の北伐が成功し、中国が統一されたことに伴い「駐ドイツ大使館商務調查部」主任に任命された。1929年6月に帰国。
1929年（民国18年）8月、兪大維は国民政府軍政部少将参事に起用され、参謀本部主任秘書、駐ドイツ大使館商務専員を歴任する。駐ドイツ大使館では兵器・軍需物資購入の任にあたった。1933年（民国22年）1月、軍政部兵工署署長に任ぜられる。1937年（民国26年）、軍事委員会作戦部副部長を兼任し、日中戦争（抗日戦争）でも軍需物資調達の任務を担当し続けた。1943年（民国32年）7月、三民主義青年団第1期中央評論議員として招聘される。その翌年12月には、軍政部常務次長に昇進した。
戦後の1946年（民国35年）2月、兪大維は陸軍中将位を授与された。同年5月、交通部長に起用され、6月には全国経済委員会委員も兼任している。以後、行政院綏靖区政務委員会委員、国防部科学委員会委員、行政院政務委員会委員なども兼任した。1949年（民国38年）3月、交通部長を退き、東南軍政長官公署政務委員会副主任委員に転じたが、国共内戦最終盤の同年11月にアメリカへ逃れている。
1950年（民国39年）3月、兪大維は国防部長にいったん任命されたが、実際には就任しなかった。翌1951年（民国40年）5月、美援会副主任兼駐米大使特別助理に任ぜられる。台湾に戻った後の1954年（民国43年）5月、国防部長に正式に就任した。以後、1965年（民国54年）1月まで10年余りこの地位に在り、その間の1958年（民国47年）には金門砲戦（金門島事件）に対処している。1962年（民国51年）12月から1971年（民国60年）5月まで行政院政務委員を務めた。また、1966年（民国55年）には総統府国策顧問（中国語版）に任ぜられ、1976年（民国65年）には総統府資政（中国語版）に移っている。
1993年（民国82年）2月、仏門に入り、法号は浄維とした。同年7月8日、台北市にて死去。享年96（満95歳）。
.svg){kind=small}
.jpg)
