呉文彦の姓は、先祖が広島県呉市出身であることに由来。曽祖父の呉文聰は統計学者、祖父の呉文炳は日本大学総長、父の呉直彦は医師。先祖の広島県呉市との縁から、2019年に呉市観光大使に就任。
妻は呉阿古、1932年ロサンゼルス五輪100メートル自由形、800メートルリレー金メダリスト宮崎康二の次女。
呉家は広島県呉市に居住した山田黄石が呉黄石に改姓して始まった家系。
呉文聰の父、呉黄石の妻、せきは江戸末期の蘭学者、箕作阮甫の娘。
文聰の弟には精神医学の草分け呉秀三がいる。
呉文聰の長男は循環器病学や神経生理学の権威で東大医学部の「呉内科」で知られる呉建、三男に日本大学総長を務めた呉文炳がいる。秀三の長男・呉茂一は、西洋古典文学の研究者で知られる。