Harvey effectue d'abord une carrière militaire : il combat pendant la Seconde Guerre mondiale, puis poursuit sa carrière d'officier et ne quitte l'armée qu'en 1950, avec le grade de lieutenant-colonel. Après avoir travaillé dans le domaine des relations publiques et obtenu quelques mandats électifs locaux à Londres, il est élu député de la circonscription de Harrow East en 1950 ; il confirme son mandat lors des élections suivantes en 1951 et 1955. Il se voit confier des postes à responsabilité croissante dans différents ministères, jusqu'à devenir Sous-secrétaire d'État parlementaire auprès du Ministère des Affaires étrangères en 1958[1]. Cette même année, sa carrière ministérielle et parlementaire est brutalement interrompue par une affaire de mœurs : Harvey est accusé de s'être livré à une relation homosexuelle avec un militaire une nuit de décembre, dans le jardin de Hyde Park[2], ce qui est à l'époque puni par la loi. Les charges sont finalement levées, et Harvey n'est condamné qu'à une amende pour avoir enfreint le règlement d'accès au parc ; sa carrière politique est toutefois stoppée net[1].
Exclu de son parti, rejeté par ses pairs[2], il démissionne alors de ses postes et revient à ses premières activités dans les relations publiques. Au cours des années 1970 et 1980, il se consacre à la défense des droits des personnes homosexuelles[1].
