Né en 1912 à Reitz au cœur de l'État libre d'Orange dans une vieille famille afrikaner, 5eenfant de Johannes Petrus Van der Spuy (1876-1961) et Maria Magdalena Marais (1876-1960), J.P. van der Spuy poursuit des études supérieures à l'université de Stellenbosch avant de faire carrière dans l'Éducation nationale notamment comme professeur de linguistique et maître de conférences en institution technique.
Membre actif d'institutions de promotion de la langue afrikaans et militant du parti national dont il est un temps le trésorier régional, JP van der Spuy est élu au parlement en 1961 dans la circonscription de Westdene puis réélu en 1966 dans celle de Johannesburg-Ouest. Durant cette période, il siège aux commissions relatives à l'éducation, aux services sociaux, à l'administration bantoue et aux affaires étrangères.
Élu sénateur de l'État libre d'Orange, JP van der Spuy entre au gouvernement de John Vorster en 1969 en tant que ministre de l'Éducation et occupe également les fonctions de ministre des Affaires sociales, des Pensions, de la Poste et des Télécommunications. En , il est élu chef du parti national de la province de l'État libre d'Orange, s'imposant en candidat surprise face à Piet Aucamp, Sand du Plessis et Alwyn Schlebusch.
JP van der Spuy quitte le gouvernement en 1978 puis de toute vie publique.
