Gerhoh vient d'une famille noble du royaume franc et est probablement apparenté à Gerold II, le beau-frère de Charlemagne. Son prédécesseur, Willibald, a probablement prévu sa nomination comme évêque; Gerhoh est son filleul. Willibald décède le , probablement en 787. En 790, Gerhoh, en tant qu'évêque d'Eichstätt, transforme l'abbaye de Heidenheim en une collégiale; les chanoines séculiers reçoivent seulement une partie des marchandises, tandis que l'autre partie va au diocèse et cultivée par une métairie. Il participe à la fondation de la collégiale de Herrieden. En 793, Charlemagne lui confie l'abbaye de Murbach et le nomme évêque-abbé. En 794, Gerhoh participe au synode de Francfort qui décide de l'exclusion de Tassilon III de Bavière; en conséquence, le diocèse d'Eichstätt intègre le royaume franc. Avec la dissolution du diocèse de Neubourg-sur-le-Danube en 798 et la redéfinition des limites du diocèse, Gerhoh peut intégrer dans son diocèse le Sualafeldgau au nord du Danube. Gerhoh construit probablement la première cathédrale d'Eichstätt.
Gerhoh lègue sa possession personnelle à l'église épiscopale selon des sources médiévales à la fin de sa vie, y compris des objets de valeur comme une pierre d'autel en or.
