Il suspend son activité professionnelle en 1987, mais la reprend quatre ans plus tard, en tant qu'avocat et notaire indépendant. Il a de nouveau cessé d'exercer depuis 1999.
Il adhère à la Junge Union, organisation de jeunesse de la CDU, et au parti en lui-même en 1972. Cette même année, il prend la présidence de la JU dans l'arrondissement de Limbourg-Weilbourg pour trois ans.
En 1974, il est élu président de la CDU dans le quartier de Staffel, à Limbourg-sur-la-Lahn et membre du comité directeur dans l'arrondissement de Limbourg-Weilbourg. Il abandonne la présidence de Staffel en 1975, mais est porté à la tête du parti dans le quartier d'Erbach pour deux ans à partir de 1976.
Karlheinz Weimar devient vice-président de la CDU dans la ville de Weilbourg en 1980. Deux ans plus tard, il est élu au comité directeur du parti en Hesse occidentale, puis quitte la JU en 1985. Il renonce à la vice-présidence municipale en 1987. L'année suivante, il est porté à la tête du parti dans l'arrondissement de Limbourg-Weilbourg pour dix ans.
Il intègre le comité directeur régional de la CDU de Hesse en 1990.
Au niveau institutionnel
En 1972, il est élu au conseil de quartier de Staffel, mais démissionne en 1974 pour entrer à l'assemblée de l'arrondissement de Limbourg-Weilbourg, où il siège encore. Quatre ans plus tard, en 1978, il devient député au Landtag de Hesse.
À la suite de la victoire de la CDU aux régionales de 1987, il est nommé ministre de l'Environnement et de la Sécurité nucléaire dans la coalition noire-jaune du ministre-présidentWalter Wallmann. Il doit renoncer à ce poste à peine quatre ans plus tard, après l'arrivée au pouvoir d'une coalition rouge-verte. Il devient alors élu vice-président du groupe CDU au Landtag.
Lors du scrutin de 1999, les chrétiens-démocrates de Roland Koch obtiennent la majorité relative et forment une nouvelle coalition noire-jaune. Le , Karlheinz Weimar est désigné ministre des Finances de Hesse. Il est reconduit en 2003, puis en 2009. Il est par ailleurs chargé de gérer les affaires courantes entre 2008 et 2009, du fait de l'absence de majorité au Landtag après les élections régionales.
Il quitte le gouvernement le , à l'occasion du remplacement de Koch par Volker Bouffier.
