Utsumi est né dans une famille samouraï du domaine de Chōshū (actuelle préfecture de Yamaguchi ). Enfant, il participe à la rébellion des portes Hamaguri à Kyoto où les forces de Chōshū pro-sonnō jōi shogunat Tokugawa .
Après la restauration de Meiji , il se rend à Tokyo et entre au service du nouveau gouvernement de Meiji . Il est choisi pour faire partie en 1871 de la mission Iwakura , visitant les États-Unis, le Royaume-Uni, et d'autres pays européens. De retour au Japon, il est nommé gouverneur de la préfecture de Nagasaki de 1877 à 1883, de la préfecture de Mie de 1884 à 1885, de la préfecture de Hyōgo de 1885 à 1889, de la préfecture de Nagano de 1889 à 1891, de la préfecture de Kanagawa de 1891 à 1893, de la préfecture d'Osaka de 1895 à 1897, et de la préfecture de Kyoto de 1897 et 1900. Il est ensuite président du conseil d'audit (en)
Alors qu'Utsumi est gouverneur de Nagasaki, il accueille l'ancien président américain Ulysses S. Grant en visite au Japon.
Utsumi reçoit le titre de baron (danshaku ) selon le système de noblesse kazoku en 1887. Il est également membre de la chambre des pairs du Japon à partir de sa création en 1890.
Utsumi devient ministre de l'Intérieur dans le premier gouvernement de Katsura Tarō en 1901.
