徳川義恕は、明治11年に尾張徳川家の当主で華族の従一位徳川慶勝の十一男として生まれた。しかし、慶勝は、すでに養子として義礼を入れていたため、義恕は明治21年6月に分家し、父慶勝の維新の功により、華族の男爵位を与えられた。
学習院中等科卒業後、陸軍歩兵少尉として日露戦争に従軍し、その後宮内省に入り、侍従や内匠寮御用掛を務めた。昭和前期の住居は東京市牛込区市谷河田町。義恕夫人寛子は津軽承昭伯爵の次女。
義恕の長女祥子は、北白川宮永久王の王妃となった。
義恕の長男義寛も昭和11年から侍従として昭和天皇に仕え、昭和44年に侍従次長、昭和60年に侍従長に昇進した。義寛夫人博子は、三条公輝公爵の長女。