Après avoir passé son Abitur en 1954, Gerhart Baum intègre l'université de Cologne pour y accomplir des études supérieures de droit, qu'il achève en 1957 par l'obtention de son premier diplôme juridique d'État. Il décroche le second quatre ans plus tard.
Gerhart Baum est marié en secondes noces avec Renate Liesmann-Baum, a trois enfants issus de son premier mariage et est installé à Cologne.
Activité politique
Engagement au sein du FDP
Gerhart Baum adhère au Parti libéral-démocrate (FDP) en 1954, et devient en 1966 président fédéral des Jeunes démocrates, qui constituaient jusqu'en 1983 le mouvement de jeunesse du parti, ce qui le fait entrer au comité directeur fédéral du FDP. Il renonce à ce poste deux ans plus tard et entre en 1970 au comité directeur régional de la fédération de Rhénanie-du-Nord-Westphalie.
Élu membre de la présidence fédérale en 1978, Gerhart Baum est désigné vice-président en 1982. En 1990, il renonce à son poste régional, puis abandonne ses fonctions fédérales l'année suivante. Au sein du FDP, il appartenait au «cercle de Freiburg», nommé ainsi en référence aux «thèses de Fribourg-en-Brisgau», adoptées au congrès fédéral de 1971 et qui mettent l'accent sur le social-libéralisme. Il appartient donc à «l'aile gauche» du parti.
Ainsi, le , il attaque, par un recours en garantie des droits fondamentaux (Verfassungsbeschwerde), la loi de lutte contre le crime organisé, qui élargit le champ des écoutes téléphoniques, afin d'obtenir la réduction de cette mesure, en particulier concernant les journalistes. Il est soutenu dans cette démarche par Sabine Leutheusser-Schnarrenberger, députée du FDP. Il agit de même contre la loi sur la sécurité de l'aviation, contestant notamment la possibilité de détruire en vol un avion civil rempli de passagers en cas de détournement. Le , le Tribunal lui donne raison en estimant que le texte méconnaît le droit à la vie.
Le Tribunal accueille favorablement une autre de ses plaintes, dirigée contre une loi de Rhénanie-du-Nord-Westphalie qui autorise la «perquisition en ligne», qu'elle juge contraire à la Loi fondamentale le . Enfin le , son recours contre la possibilité de conserver les données électroniques a été partiellement accepté: la haute juridiction a en effet estimé que cette disposition n'était pas en soi contraire à la Loi fondamentale, mais que le régime législatif adopté n'était pas suffisant.
Par ailleurs, il est chargé en 2008 d'enquêter, aux côtés d'Herta Däubler-Gmelin, ancienne ministre fédérale de la Justice issue du SPD, à propos du scandale de la surveillance des télécommunications dans l'affaire des données de la Deutsche Bahn. Ils ont ainsi révélé que la direction de l'entreprise filtrait 150 000courriels par jour, entraînant la démission de Hartmut Mehdorn, président de la société, le .