Schwarzhuber se marie en 1936 et est père de deux enfants. Le , il rejoint le NSDAP (membre 1 929 969) et devient membre de la SS (membre 142 388). Le , il devient gardien au camp de Dachau. En 1935, il devient Blockführer et plus tard Rapportführer à Dachau. Le , il est transféré au camp de concentration de Sachsenhausen et travaille comme Kommandofuhrer.
Le , il est envoyé à Auschwitz à la tête d'un sous-camp. Du à , il est l'officier responsable du camp des hommes à Auschwitz-Birkenau. Il crée un groupe de musique dans le camp constitué par des détenus pour jouer ses chansons préférées. Les témoignages rapportent la cruauté dont il a notamment fait preuve envers la jeune Cilka Klein, en la réduisant au stade d’esclave sexuelle à usage personnel. Ce témoignage est par ailleurs raconté dans les livres Le Tatoueur d'Auschwitz et Le Voyage de Cilka.
Le , il est renvoyé au camp de concentration de Dachau et dirige un sous-camp. Le , il est envoyé au camp de Ravensbrück jusqu'à la dissolution du camp en . Parmi ses responsabilités, le gazage des déportés et de nombreuses exécutions. D'après la déposition du major Steward au procès de Fritz Suhren, c'est sans doute Schwarzhuber qui aurait introduit la chambre à gaz à Ravensbrück[1].
Il est arrêté par l'armée britannique et condamné à mort le . Il est pendu le [2].
↑ Centre des archives diplomatiques de La Courneuve, 1AJ/6340.
↑ Ernst Klee, Das Personenlexikon zum Dritten Reich: wer war was vor und nach 1945, Fischer-Taschenbuch-Verl, coll.«Fischer», (ISBN978-3-596-16048-8), p.573