木村高敦によって18世紀前半に編纂された『続武家閑談』十八では、守の大坂落城後の動きと甲府徳川家への仕官の経緯について、以下のように伝える[2]。
守は糺の長男で、大坂落城時には6歳であった。落城の際、糺[注釈 1]は二男・三男を刺殺し、長男も連れてくるように乳母に申し付けたが、乳母は白小袖を着せてくるからと言ってその場を逃れ、渋紙に包んで綱から下げて櫓から降ろし、乳母も命からがら脱出した。乳母は町屋の便所に守を隠してほとぼりが冷めるのを待っていたが、残党狩りを行う徳川方によって捕縛された。乳母は拷問を受けたものの「渡辺家中の水谷清兵衛という者の妻と子である」と主張し、守も打擲を受けたがついに糺の子であると自白しなかった。徳川方は金1両を出すならば軽輩の者の子として見逃すと言い出したために、乳母は「渡辺の郷」に行って百姓たちに頼ったところ、百姓たちも渡辺家代々の恩と乳母の忠義心に感じて金子を調達し、守は解放された。その後、守は京都に潜伏し、南禅寺で出家した。
18歳のとき、親戚筋（「一門」）に当たる「細川越州」（細川忠興）や「一柳土州」[注釈 2]が働きかけて還俗し、素心尼（祖心尼）[注釈 3]の伝手を頼って徳川綱重への仕官を働きかけた。仕官の実現には数年を要したが、武名の高い渡辺糺の子であるからと500石を与えられ、「軽卒の頭」として「長くかの御家に仕えた」という。
守の子の勝（すぐる）も甲府徳川家に仕え、小姓組・書院番組頭・持筒頭などを歴任した[1]。綱豊（徳川家宣）が将軍として江戸城に入ったため、これに従って500石取りの旗本となった[1]。