天正13年（1585年）、関白豊臣秀吉の弟である豊臣秀長が大和郡山城に入部した。この際、旧勢力である秋山氏は退去させられ、代わって秀長家臣の伊藤掃部頭義之が宇陀松山城（秋山城）へ入城し、宇陀一円を領した。同年8月、筒井定次の移封に際し、高取城の受城使を務めたことも記録されている。
宇陀松山城はこうして義之の居城となり、秀長家の大和統治体制の重要拠点となった。秀長の入国後、多武峯の僧徒に対して武器提出が命じられ、寺領6000石と引き換えに郡山城下への移転が実施されたが、寺舎建設・移転は伊藤掃部の計らいによって進められたとされる。
天正14年（1586年）6月、秀長は郡山城に戻り検地の指出を命じた。しかし同年8月、熊野牢人衆が反乱を起こしたため秀長は紀州へ出陣する。戦闘は激しく、伊藤掃部を含む秀長家臣の多くが討死した。
『多聞院日記』によれば鎮圧後の9月23日に軍勢が帰陣し、義之の遺骸は10月15日に葬送のため高野山へ送られた。死後かなり日数が経っていたため、内臓を抜き取り塩漬けにして皮子に包んで運ばれたという。