Karl Heinz Diez est l'aîné des trois fils de Raymond et Herta Diez. À la fin de ses études secondaires, qu'il a passé au Progymnasium de Freigericht ainsi qu'au Domgymnasium de Fulda, il entre au séminaire de Fulda en 1974 et poursuit ses études au Collegium Germanicum de Rome. Là, il est ordonné diacre par Eduard Schick(de), le , puis, le , il est ordonné prêtre par le cardinal László Lékai. De 1979 à 1981, il travaille alors comme aumônier de la paroisse de Sainte-Marie à Cassel.
Il commence ensuite ses études de doctorat en théologie à l'Université pontificale grégorienne de Rome, d'où il sort diplômé en 1985, avec une thèse intitulé «Le Christ et son Église». Karlheinz Diez travaille ensuite sur sa thèse d'habilitation, cependant, il est simultanément chargé de différentes tâches dans le diocèse de Fulda. De 1989 à 2000, il est chancelier du Séminaire de Fulda. En 1995, il complète son habilitation à Mayence, avec pour sujet la «théologie dogmatique et œcuménique». Sa thèse d'habilitation, intitulée «Ecclesia – non est civitas Platonica», traite de la vision l'Église de Martin Luther.