飛鳥井雅典の第二子雅之は、幼少期の幕末期に出家して奈良興福寺に入れられ清浄院住職となっていたが、明治元年(1868年)に勅命により復飾し、明治2年(1869年)に堂上格を与えられて一家を起こし藤枝を家号とした。明治8年(1875年)に華族に列し、明治17年(1884年)7月7日の華族令施行で華族が五爵制になると、翌8日に雅之が男爵に叙された。雅之は春日神社宮司や奈良県庁勤務を経て貴族院の男爵議員に当選して務めた。
その子雅脩は宮内省官僚を務めた。彼の代に藤枝男爵家の邸宅は東京市渋谷区幡谷笹塚町にあった。