ヘッセン人民州（現ヘッセン州）ウルリヒシュタイン出身。1963年にアビトゥーア合格後、教育学、ドイツ語学、政治学を学ぶ。1965年に自由民主党入党。1970年に博士号取得。ハノーファーのフリードリヒ・ナウマン財団事務局で働く。同時に1978年までヘッセン州内相顧問や大臣官房長を務める。
1978年、ヘッセン州議会議員に初当選。以後1982年までと、1983年から1987年まで、1991年から1994年までヘッセン州議会議員を務める。1982年からヘッセン州のFDP代表および連邦幹事会員、1983年以降はヘッセン州議会FDP議会会派幹事長を務めた。1987年4月24日、ヘッセン州のヴァルター・ヴァルマン州首相の内閣に科学・文化大臣として入閣、連邦政府全権代表や州副首相を兼任した。しかし1991年の州議会選挙でドイツキリスト教民主同盟（CDU）・FDP連立がドイツ社会民主党（SPD）に敗れたため、大臣を辞した。
1994年、ドイツ連邦議会選挙に出馬して初当選。1995年にクラウス・キンケルの後任としてFDP党首に選出され、大きく後退した党勢の回復に努めた。1998年の連邦議会選挙後は、ドイツ連邦議会のFDP会派幹事長を兼任した。しかし党内の批判が高まったため、2001年に党首職を若手のギド・ヴェスターヴェレに譲った。2005年の連邦議会選挙に際して、CDU・FDP連合が勝利した暁には外務大臣への就任が予定されていた。しかし選挙はCDUとSPDの大連立政権成立という結果に終わり、FDPは野党に留まった。この結果FDPは連邦議会における最大野党となり、幹事長としてゲルハルトは野党連合の代表となった。
2006年に連邦議会幹事長職もヴェスターヴェレ党首に譲った。同年からフリードリヒ・ナウマン財団総裁を務める。2013年ドイツ連邦議会選挙に出馬せず、政界を引退した。
2024年9月13日の朝、ヴィースバーデンで死去。80歳没[1]。
夫人との間に2児。
