Inaba Masayoshi est le fils cadet d'Ōoka Tadayuki, daimyō du domaine d'Iwatsuki dans la province de Musashi. Il est adopté dans le clan Inaba comme héritier d'Inaba Masami, 4e daimyō Inaba du domaine de Tateyama. Lorsque Inaba Masami se retire de la vie publique en 1864, il lui succède à la tête du clan Inaba et comme daimyō de Tateyama. Sa tâche immédiate consiste à réconcilier le domaine avec le nouveau gouvernement de Meiji. En 1869, il est confirmé en tant que gouverneur de domaine et après l'abolition du système han en 1871, est nommé gouverneur de l'éphémère préfecture de Tateyama. Il est ensuite fait vicomte (shishaku) dans le cadre du système de pairie de l'ère Meiji.
N'ayant pas d'héritier, Inaba Masayoshi décide d'adopter le quatrième fils d'Inaba Hisamichi, dernier daimyo du domaine d'Usuki dans la province de Bungo, pour prolonger le nom Inaba.
