増岡隆一の祖父・登作は増岡組の創業者、父・重昂は登作の三男で増岡組の2代目社長。政治家の増岡博之は伯父、増岡組3代目社長の増岡正剛は叔父。正剛の妻は元内閣総理大臣・鳩山一郎の孫娘。
隆一の妻は弁護士・高島信之の次女である。高島は眞崎大和鉛筆（三菱鉛筆の前身）の元社長・近藤賢二の外孫にあたるが、高島の弟（隆一の妻の叔父にあたる）は元三菱地所取締役・岩崎彦弥太（三菱財閥の創業者・岩崎弥太郎の嫡孫）の三女と結婚している。また、博之の次女（すなわち隆一の従姉）は三菱鉛筆の現社長・数原英一郎と結婚している。増岡家は三菱鉛筆の元社長を輩出した近藤家や三菱鉛筆の現在のオーナー一族・数原家と姻戚関係で結ばれる一方、増岡家と近藤家を繋ぐ高島家を通じて三菱の創業者一族・岩崎家にも繋がっている。旧三菱財閥の流れを汲む企業集団・三菱グループと三菱鉛筆は三菱の文字も使用するロゴマークも同じであるものの一切の資本・人的関係がないが、三菱財閥の創業者一族・岩崎家と三菱鉛筆と縁の深い近藤家・数原家は増岡組及び鉄鋼ビルディングのオーナー一族・増岡家を通じて姻戚関係で結ばれているといえる。