Baba est issu d'une famille de marchands de Nagasaki, la Mikuriya (三栖谷?). Il est adopté par Yuuhachiro Baba, qui s’intéresse aux études hollandaises. Il a appris le néerlandais et le français auprès de Hendrik Doeff, le commissionnaire néerlandais du port de commerce de Dejima, et l'anglais auprès de son successeur Jan Cock Blomhoff, et il a appris le russe auprès de Vassili Golovnine, lorsqu'il était prisonnier des Japonais. En Bunka 5 (1808), il devient traducteur officiel et s'installe à Tokyo[1]. Après l'"incident Golovnine", il accueille les étrangers et traduit des documents diplomatiques, ainsi que de nombreux ouvrages scientifiques.
