正室は細川忠興とガラシャの子の細川忠隆（1604年の廃嫡後は長岡休無と号す）の長女・徳姫（1605-1663）であり、京都在住の休無から助成金が毎年西園寺家へ贈られている。また休無遺産として500石が徳姫（西園寺家）に相続され[1]、西園寺家の財政の基盤となった。
子は23代目となった公満のほかに、公遂、公宣(別名公義又は随宜)。なお、末子の西園寺公宣は京都の公家生活を嫌って、長岡休無の子の長岡忠春（1622-1704年、細川内膳家祖）を頼って肥後国に移り住み菊池（現熊本県菊陽町）で死去したが、そこで生まれた娘（也須姫もしくは安姫）が京に戻って鷹司家から婿（西園寺実輔）を取り西園寺家を継いだ。
![[icon]](#/media/ファイル:Wiki_letter_w_cropped.svg){kind=small}
