Fils de Helena et Hendrik Geldenhuys Viljoen, éditeur du Huisgenoot Magazine, Gerrit Viljoen est né au Cap le .
Il fait sa scolarité et ses études à Pretoria et poursuit ses études à l'université de Pretoria. C'est là qu'il milite au sein du conseil représentatif des étudiants et participe à la fondation en 1948 de l'« Organisation unie des étudiants de langue afrikaans ».
De retour en Afrique du Sud, il est embauché par l'université de Pretoria et en 1967, est nommé recteur de l'université de langue afrikaans du Rand (Rand Afrikaans University). En 1974, il succède à Andries Treurnicht comme président du Broederbond dont sont issus la quasi-totalité des ministres sud-africains.
En 1979, il est nommé administrateur du Sud-Ouest Africain puis en 1980 entre dans le gouvernement de Pieter Botha comme Ministre de l'éducation nationale et est élu au parlement (1981).
À partir de 1989, il devient ministre du développement constitutionnel de Frederik de Klerk. Il est alors l'un des principaux idéologues du parti national, négociateur en chef et porte-parole du gouvernement. Il est aussi l'un des premiers hauts dignitaires du parti à avoir réclamé la tenue de négociations sur le partage du pouvoir avec les dirigeants noirs modérés. Dès son arrivée au ministère, il s'engage dans l'étude de plusieurs modèles constitutionnels pour une « nouvelle Afrique du Sud » (dixit).
Aux côtés de Pik Botha, il mène les premières négociations officielles avec l'ANC à partir de mai 1990 et lance l'idée de droit des groupes (devenue par la suite la « protection des droits des minorités »).
Il quitte le gouvernement en 1992 pour des raisons de santé et se retire de la vie politique.
.svg){kind=small}
