寛永4年（1627年）11月1日生まれ。幼名は新二郎。寛文11年（1671年）11月に父から家督を譲られ、藩主となった。氏西が家督を相続した頃には、大垣藩の財政はかなり逼迫していた。氏西はこれに対し、改革を断行する。同年、不破郡の検地を実施して幕府から賞賛された。その後も郡奉行制から代官制への移行、「延宝の大暇」と呼ばれた176人にもおよぶ家臣団の整理（リストラ）や藩財政の経費節減などに努めた。天和元年（1681年）には半知借上げも実施。また、藩札なども発行しているが、氏西の藩政改革の効果は薄く、大垣藩の藩財政はさらに悪化していった。
延宝4年（1676年）、遠藤常友の死去により家督を継いだ郡上八幡藩主遠藤常春が未だ幼年のため、幕府により遠藤常春の生母の兄弟である氏西らが後見とされた。
貞享元年（1684年）6月7日に江戸にて死去した。享年58。死後、家督は長男の氏定が継いだ。
