渡辺四郎の義兄であった渡辺六蔵は逓信省鉄道外局に勤務する鉄道技師であり[注釈 1]、直接の専門的指導と感化をうけた。渡辺四郎は中学生のころから機関庫を訪問するなどしていた。
渡辺四郎の弟の渡辺六郎の話によると、実父である渡辺治右衛門は日本鉄道の大株主であった。日本鉄道は当時1,000株以上の株主には優待として全線無賃乗車券を配布していた。渡辺治右衛門は自分の子供名義でそれぞれ1,000株を持たせていた。渡辺六郎は「これ（日本鉄道の全線無賃乗車券）を使って、四郎兄と私は学校の休暇中に各地を旅行してまわった」と回顧している。
岩崎輝弥と渡辺六郎は共に1887年（明治20年）の生まれで、また両名ともに東京高等師範学校附属小学校（現：筑波大学附属小学校）から東京高等師範学校附属中学校（現：筑波大学附属中学校・高等学校）まで同じ学校に通っていた。このため渡辺四郎と岩崎輝弥は渡辺六郎を通じて知り合ったと推定される。渡辺四郎と岩崎輝弥との交流については、二人の間でやりとりされた往復書簡も残されている。