宝永元年（1704年）、美濃大垣藩の第4代藩主・戸田氏定の五男として生まれる。母は安田藤九郎の娘・於類。享保4年（1719年）に大垣藩新田藩の初代藩主・氏成が死去したため、家督を継いだ。
三河国、美濃国両国内で1万石を領し、従五位下、右近衛将監に叙位・任官し、三河国渥美郡畑村に居館を営んだ。資性温雅寡言、体躯雄偉にして古将の風ありといい、享保10年（1725年）7月21日、江戸城内にて松本藩主・水野忠恆が長州藩支藩の長府藩世子・毛利師就に斬りかかったところ、師就は不意をつかれて負傷したものの、腰刀で忠恆の脇差を落とし、そこに通りかかった氏房が忠恆の腰刀を奪い、速やかに狼藉を鎮定したという。ちなみにこの事件は忠恆と師就は面識がなく、自らの不行跡が世に知れ渡って、所領を没収され、それが毛利師就に下賜されると聞いたことから、斬りつけたとあらぬ妄言を述べたことから、忠恆の妄想による乱心として改易、本人は叔父である水野忠穀の許に蟄居させられた。
その後、氏房は大番頭、奏者番、西丸若年寄を歴任する。宝暦9年（1759年）10月23日に死去した。享年56。跡を長男の氏之が継いだ。