慶長7年（1602年）誕生。土岐一圭の子。童名は三三郎。六条門跡本願寺[7]に嫁していた父・一圭の従兄妹の縁で、幼少より又従兄弟にあたる六条門跡東承殿と一緒に育った。成長して六左衛門と名乗り、やはり父一圭の従兄弟にあたる頼泰（縫殿助）と持益（市正）を頼って武州へ下った。
徳川頼宣室で加藤清正の息女瑤林院（八十姫）の上臈となっていた妹つまの方の進言により、承応3年（1654年）に徳川頼宣に召し出され、寄合衆となる。知行は250石。義虎と頼宣は同い年であった。頼宣隠居（寛文7年（1667年）後は、二代目紀州藩主徳川光貞に仕え、天和元年（1681年）、命により80歳にて隠居薙髪し、宗見と名乗った。その後、三代目紀州藩主徳川綱教に仕え、「御城内、駕・頭巾、御免。」[8]の厚遇を受けていた。
徳川紀州藩主三代に仕え、宝永4年（1707年）10月26日、106歳にて死去。紀州名草郡の幡降寺に葬る。