徳川家康が関東へ入国した頃には既に父の守純は隠居しており豊純はいわば浪人状態であった。1596年、父の守純が桐生市市野井に移住するとこれに従い、1607年には武蔵国川越に鷹狩りに来ていた家康に召しだされ、守純と共に謁見した。この際に守純は新田氏の家系図を持参しており、岩松氏は新田氏の本流の子孫であると主張した。自身も新田氏末裔を称する家康が「真偽を確かめる為、その家系図を一晩貸して欲しい」と頼んだが、「何か細工をされるのではないか」と恐れた守純は拒否し退席した。また席中で「本家は岩松であり、徳川が先祖と称する人物は妾腹の傍系」と発言したとも伝わる。ともあれ、家康は岩松氏に市野井20石しか与えなかった。ただしこれは巷談の範疇でしかなく、正式な資料として確認されている話ではない。