Hermann obtient le titre d'évêque grâce à Henri IV du Saint-Empire, sans que le chapitre fasse une élection. Ceci donnera une défiance entre l'évêque et le chapitre et une accusation de simonie, sans qu'il y ait de preuves. Hermann a toujours été un partisan de Henri IV. À l'occasion de sa venue à Rome en 1070 en compagnie du régent et de l'archevêque Annon II de Cologne, il demande au pape Alexandre II le pallium que Hermann a après avoir prêté serment, sans rumeur de simonie.
De 1069 à 1075, Hermann est le ministre des finances de l'empire.
En 1071, il fonde avec ses ressources propres comme des domaines à Langeln la collégialeSaint-Jacques de Bamberg(de) puis avec l'aide du diocèse l'abbaye de Banz. Après la mort du premier prêtre, il se consacre plus à l'abbaye de Michelsberg(de). Ceci énerve plus le chapitre qui prend ses distances. Après un appel vain au roi en 1073, il se tourne la même année vers le pape Grégoire VII pour une révocation pour cause de simonisme. Grégoire envoie plusieurs convocations à Hermann qui demande à ne pas avoir de procès. Le pape est convaincu de la culpabilité de Hermann à cause de son absence et lui retire le titre d'évêque le , il renouvelle ce retrait le et met Hermann au ban. Le roi et l'archevêque Sigefroi Ier de Mayence sont sollicités pour la nouvelle composition de l'évêché de Bamberg. Henri IV nomme un successeur le .
Hermann se retire à l'abbaye de Münsterschwarzach et entreprend avec l'abbé Egbert(de)ajout liens un voyage à Rome pour ne plus être banni. Le pape accepte à condition que Hermann ne revienne pas dans le diocèse. Hermann vit à l'abbaye jusqu'à sa mort.
