Né en 1880 dans une ancienne famille samouraï de Kokura (maintenant une partie de la ville de Kitakyushu), préfecture de Fukuoka, Sugiyama a été commissionné en tant que Lieutenant dans l'infanterie, en 1901, après avoir été diplômé de la 12e classe de l'académie de l'armée impériale japonaise, et a servi dans la guerre russo-japonaise.
Après avoir reçu un diplôme de la 22e classe de l'école de l'État-Major d'armée, en 1910, et avoir servi au sein de l'état-major de l'armée impériale japonaise, Sugiyama s'est signalé en tant qu'attaché militaire aux Philippines et à Singapour, en 1912. Promu major en 1913, il a été signalé encore en tant qu'attaché militaire vers l'Inde britannique en 1915. Pendant ce temps, il a également visité l'Allemagne, et s'est informé sur l'utilisation des avions pendant la Première Guerre mondiale.
À son retour, Sugiyama a été promu lieutenant-colonel, et commandant du 2e bataillon aérien en décembre 1918. Il était un partisan de l'aviation militaire, et après sa promotion au rang de colonel en 1921, il est devenu le premier chef du service aérien de l'armée impériale japonaise en 1922.
Sugiyama (premier en bas à gauche), ministre de l'Armée au sein du cabinet de Kuniaki Koiso (troisième en bas à partir de la gauche, avec Mitsumasa Yonai, ministre de la Marine (quatrième en bas)
À son retour au Japon, Sugiyama a été brièvement nommé à la tête du Sanctuaire de Yasukuni en 1939. Le , il a succédé au vieux prince Kotohito Kan'in comme chef de l'état-major de l'armée impériale japonaise. Il était l'un des principaux officiers militaires favorable à la guerre contre l'Occident. Cependant, le , à la veille de la guerre contre les États-Unis, la Grande-Bretagne et les Pays-Bas, il fut sévèrement réprimandé par Hirohito pour avoir prédit à tort, à l'été 1937, que l'invasion japonaise de la Chine serait accomplie en trois mois, et qu'il y aurait une victoire rapide sur les puissances occidentales.
Sugiyama s'est vu attribuer le rang honorifique de maréchal en 1943. Tandis que les lignes de fronts s'effondraient de tous les côtés, Sugiyama était relevé de sa charge de chef de l'état-major le , par le général Hideki Tojo (qui continuait de servir comme premier ministre).
Sugiyama a été nommé inspecteur général de l'entraînement militaire, qui était l'une des positions les plus prestigieuses dans l'armée. Après l'éviction de Tojo en 1944, Sugiyama est encore devenu ministre de la guerre. En , il a été invité à prendre le commandement de la première armée générale, chargée de la défense du Japon contre l'invasion alliée prévue.
Dix jours après la signature des Actes de capitulation du Japon, après les préparatifs pour la dissolution finale de l'armée impériale japonaise, comme ordonné par les puissances alliées victorieuses, Sugiyama s'est suicidé en se tirant quatre fois dans la poitrine avec son revolver tandis qu'il était assis dans son bureau. À la maison, son épouse s'est également tuée. Sa tombe est au cimetière de Tama, à Fuchū, Tokyo.
Empire du Japon
.svg){kind=small}
Empire du Japon
