縫殿助桜井兼里の次男・山井兼仍を祖とする。家格は羽林家。家業は鞍の製造。江戸時代の石高は御蔵米30石[2]。
明治維新後の明治2年（1869年）6月17日の行政官達で公家と大名家が統合されて華族制度が誕生すると山井家も公家として華族に列した。1884年（明治17年）7月7日の華族令の施行で華族が五爵制になると、同8日に大納言直任の例がない旧・堂上家[注釈 1]として兼文が子爵に叙された。彼は貴族院の子爵議員に当選して務めた。
兼武の代に山井子爵家の邸宅は東京市世田谷区玉川田園調布にあった。
墓所は、明治以前は京都市左京区の大超寺で、明治以降は青山霊園1-イ-12-6。
