Il est issu d'une famille noble de Franconie. Un siècle avant lui, Wolfram von Grumbach était déjà évêque de la ville. Bien plus tard, la famille conserve des relations dans l'évêché, certains membres seront aussi des partisans de la Réforme comme Argula von Grumbach et Wilhelm von Grumbach(de).
Johann intègre le chapitre en 1408 et devient prévôt en 1432. Contrairement à Gottfried Schenk von Limpurg, à qui il succèdera, il manifeste plus d'oppositions. Il tient à préserver les intérêts financiers et a des querelles avec des familles nobles. Il s'implique dans des conflits territoriaux entre le margrave de Brandebourg et la maison de Wittelsbach de Bavière. À la fin de son règne en 1463, la tension avec l'évêché voisin de Bamberg est très forte, mettant en danger toutes les alliances faites entre eux et autour. Sa mort met fin à cette tension. Son corps repose dans la cathédrale de Wurtzbourg. Sur son tombeau, à la place de la crosse, il porte une épée, preuve d'une souveraineté plus territoriale que spirituelle.
