五右衛門は美濃国揖斐郡白樫村（現・岐阜県揖斐川町）の、約250石の領地を持つ郷士であったとされる[1]。以下は矢野家の伝承である。
関ヶ原の戦い直後に五右衛門は落ち武者狩りとして山中を捜索していた[1]。その時、供回り数名と共に逃走していた武将に出くわした[2]。五右衛門はその容姿から、敗走中の高名な武将に違いないと考えて槍を向けて近づいたが、武将は名乗ることも助命を請うこともしなかった。伴の家臣と五右衛門が数回の問答をした後、五右衛門はこの落武者が西軍の大物であった備前宰相・57万石の太守宇喜多秀家である事を確認した[2]。五右衛門は潔い秀家の態度に感服したとされ、約40日もの間秀家を自宅に匿った[2]。この潜伏期間中に秀家は次の二首の歌を詠んだ。
『武も運も皆つき果てし美濃の国かかる浮世と如何で志ら樫』
『山の端の月の昔に変わらねど我が身のほどは面影もなし』
五右衛門は秀家を逃すための情報を収集し、秀家の正室である豪姫が実家の前田氏に引き取られるとの報を聞きつけた[2]。五右衛門とその妻は秀家を重病人に変装させ、数多くの関所を越えて大阪の前田家の屋敷に到着し、秀家は妻と再会することができた[2]。この礼として、秀家はかつて自分が豊臣秀吉から賜った朱印状と黄金30枚を五右衛門に与えた[2]。秀家は島津氏を頼った後に徳川方に引き渡され八丈島へ流罪となったが、五右衛門は帰郷し、子孫は代々続き現在に至っている[2]。
