宝暦12年（1762年）、初代藩主丹羽薫氏の三男巨勢利永の次男として生まれる。第2代藩主の氏栄とは従兄弟に当たり、明和元年（1764年）8月8日に氏栄の養子となる。明和8年（1771年）7月9日、氏栄の死去により跡を継いだ。安永6年5月15日、将軍徳川家治に拝謁する。安永9年（1780年）12月18日、従五位下、長門守に叙任する。
天明2年（1782年）4月、日光祭礼奉行を命じられる。天明5年4月、日光祭礼奉行を再び命じられる。寛政元年（1789年）12月27日に大番頭となる。
寛政8年（1796年）2月6日、長男の氏昭に家督を譲って隠居し、勝道と名を改めた。寛政13年1月21日、総髪の許可を得て、閑斎と称する。天保14年（1843年）閏9月21日に死去した。享年82。墓所は東京都港区西麻布の長谷寺。