明治30年(1897年)7月1日、北白川宮能久親王の第5王子芳之は、臣籍降下して二荒家を興して華族の伯爵に列せられた。なお芳之の弟である正雄(第6王子)も同日に臣籍降下して上野家を興して伯爵に叙されている。
芳之の跡は宇和島伊達家の伊達宗徳侯爵の子二荒芳徳が養子に入って継いだ。芳徳は宮内省で参事官や式部官、東宮職、御用掛などを歴任した後、貴族院の伯爵議員に当選して務めた。またボーイスカウト日本連盟総コミッショナーも務めた。
昭和前期に二荒伯爵家の住居は東京市四谷区霞ヶ丘にあった。
芳徳の子芳忠は東芝EMI音楽出版社社長を務めた。