1932年、子爵・渋沢栄一の孫・信雄(実業家)と妻・敦子の長男として東京府に生まれる。
伯父に子爵・渋沢敬三(父方)、齋藤秀雄(母方)。叔父に渋沢智雄。渋沢雅英と服部黎子の従兄弟。裕が誕生する前年に父の信雄は分家しており、幼い頃から分家の跡継ぎとして育てられたという。
学習院時代は当時の皇太子(明仁)のご学友だった[2]。学習院高等科を経て、1956年、早稲田大学理工学部電気通信学科を卒業[3]。
1967年に父の信雄が死去したため、家督を継承した。なお、裕の娘は浩宮徳仁親王(今上天皇徳仁)お妃候補に名前が上がったことがある。