Klaus Kilimann est le fils d'un cheminot et étudie à l'école primaire de sa ville natale jusqu'à la fin de la Seconde Guerre mondiale et son expulsion de la Prusse-Orientale. Cela est suivi par des années scolaires jusqu'à l'obtention du diplôme en 1956 à Neukloster. En 1956, Kilimann commence à étudier la physique à l'Université de Rostock, qu'il achève en 1961 avec un diplôme en physique. Il complète ensuite des études de troisième cycle à l'Université Lomonossov de Moscou avant de commencer à travailler à l'Université de Rostock en 1963, d'abord comme assistant à l'Institut de mathématiques et à partir de 1964 à l'Institut de physique, où il obtient son doctorat en 1966. De 1970 à 1979, il travaille comme assistant principal. Il obtient son habilitation en 1978 dans le domaine de la physique théorique avec la thèse Zwei-Teilchen-Zustände in Fermisystemen mit Coulombwechselwirkung. De 1980 à 1990, il travaille comme maître de conférences associé. À partir de 1982, il travaille pendant trois ans dans l'université de la capitale du Nicaragua, Managua, où il participe à la mise en place de la formation des physiciens[2].