Entre 1923 et 1925, Yanagawa est officier de cavalerie et progresse dans les rangs du 20e Régiment de cavalerie de l'armée impériale japonaise en 1923, puis dans la 1re brigade de cavalerie en 1927 et dans l'école de cavalerie à partir de 1929. En 1930, il devient inspecteur général de la cavalerie. Il est promu lieutenant-général en 1931.
Entre 1932 et 1934, Yanagawa est vice-ministre de la guerre. Il est ensuite envoyé sur le front en tant que commandant de la prestigieuse 1re division de 1934 à 1935. Il est commandant de l'armée japonaise de Taïwan entre 1935 et 1936, avant sa retraite le [2].
Toutefois, avec la seconde guerre sino-japonaise, Yanagawa est rappelé en service actif et assigné au commandement de la 10e armée en Chine en 1937 et 1938. La 10e armée intègre la 18e et 14e divisions du Japon, la 6e division du nord de la Chine et le détachement Kunisaki de la 5e division de l'armée impériale japonaise. Elle est stationnée à Hangzhou le .
Yanagawa mène ses troupes à la poursuite des forces chinoises dans la région de Shanghai et commande une partie des troupes japonaises durant la bataille de Nankin. Ses troupes sont par la suite impliquées dans le massacre de Nankin[3].
Yanagawa prend sa retraite une nouvelle fois du service actif militaire en 1938 et devient chef du bureau général des affaires au Conseil de développement de l'Asie orientale. Avec l'appui politique du baron Hiranuma Kiichirō et le soutien des groupes du zaibatsu, il devient ministre de la justice sous le gouvernement d'Akira Kazami. Il dirige alors le Keishicho (Département métropolitain de la police de Tokyo).