Fils du propriétaire foncier Georg von der Groeben et d'Eva martin von Mirbach, il étudie la jurisprudence et l'économie politique dans les universités de Berlin, Bonn et Göttingen. Après les examens d'État, il devient conseiller du gouvernement en 1933 au Ministère de la Nutrition (Reichsernährungsministerium) et en 1937, il est transféré au poste de conseiller pour le crédit et les coopératives (Referats für das Kredit - und Genossenschaftswesen).
Lors de la Seconde Guerre mondiale, il sert en tant que réserviste dans les forces armées, terminant en tant que premier lieutenant. Après la guerre, il devient directeur du gouvernement au Trésor de la Basse-Saxe. Le ministre fédéral des Affaires économiques Ludwig Erhard le recrute à ce moment-là pour travailler sur la réponse allemande à la Déclaration Schuman en vue d'améliorer les relations franco-allemandes. À partir de 1953, il représente le gouvernement fédéral dans le comité de coordination de la Communauté européenne du charbon et de l'acier.
Il se classe parmi les pères de l'Union Européenne; il est l'un des auteurs du rapport Spaak, appelant à la création de la Communauté économique européenne. Il est vice-président de la délégation allemande, dirigée par Alfred Mueller Armack, à la conférence de Bruxelles de 1956, qui conduit au Traité de Rome; il y préside le comité "Marché commun". Il est responsable du fait que la CEE reçoive un contrat spécifié libre marché-cadre et trouve une âme sœur dans le leader de la délégation française, Robert Marjolin.
Lorsque le Traité de Rome entre en vigueur le , le chancelier Konrad Adenauer nomme Von der Groeben second membre allemand de la première Commission européenne, avec Walter Hallstein, qui devient le président de la commission.
Responsable de la politique de la concurrence, Von der Groeben défini les fondements de la législation européenne anti-trust, introduit le système de la taxe sur la valeur ajoutée ainsi que de l'ajustement des systèmes de contrôle et le commun européen des brevets. En , l'adoption de la loi anti-trust droits est fondée sur ses efforts pour unir les systèmes français et allemands.
Il reste membre de la deuxième commission Hallstein, puis de la Commission Rey, jusqu'en 1970. Après avoir quitté la Commission, il devient conseiller à la CDU sur les questions de politique européenne et travaille activement en tant que scientifique et journaliste.
