Il débute ensuite sa carrière dans les institutions européennes en 1949, comme secrétaire de la commission des Affaires générales de l'Assemblée consultative du Conseil de l'Europe, à la demande de Guy Mollet, rapporteur de ladite commission.
Après ce passage dans l'institution européenne, il participe ensuite aux projet communautaire. En 1952, détaché du Conseil de l'Europe, il est nommé directeur du secrétariat de la commission constitutionnelle de l'Assemblée ad hoc chargée par les six États membres de la CECA d'élaborer un projet de Communauté politique européenne (CPE).
Après l'échec du projet de CPE, il retourne au Conseil de l'Europe, où il est désigné chef de cabinet de Guy Mollet en 1954 lorsque celui-ci est président de l'assemblée consultative du Conseil de l'Europe.
Il est ensuite nommé chef, puis directeur adjoint du cabinet de Guy Mollet, lorsque les socialistes reviennent au pouvoir en France en 1956. Il devient alors l'intermédiaire entre Matignon et le Comité d'action pour les États-Unis d'Europe de Jean Monnet. Il jouera également un rôle important lors des négociations des Six à Val Duchesse, qui ont abouti au Traité de Rome et le Traité Euratom.
Après la chute du cabinet Mollet en , il retourne au sein des institutions communautaires, lorsqu'en , Robert Marjolin obtient sa nomination comme secrétaire exécutif de la Commission de la Communauté économique européenne. À la fusion des exécutifs communautaires en 1967, il est secrétaire général de la Commission européenne, fonction qu'il exerce jusqu'en 1987.
De 1958 à 1987, il est secrétaire général de la Commission de la Communauté économique européenne, puis de la Commission des Communautés européennes (dite « Commission européenne »). Il détient ainsi le record de longévité et de continuité à ce poste, ce qui en fait l'un des acteurs les plus influents de la construction européenne[3].
Très proche du porte-parole Beniamino Olivi ou des chefs de cabinet successifs des présidents de la Commission (dont Pascal Lamy), il imprime sa marque à l'institution: influence des principes de la haute administration française, usage du français comme langue véhiculaire, esprit de mission au service de l'idéal communautaire.
1 2 Stéphane Israël, Les Études et la guerre: Les Normaliens dans la tourmente (1939-1945), Éditions Rue d’Ulm, coll.«Histoire de l’ENS», , 334p. (ISBN978-2-8218-2978-7, lire en ligne), p.161–193
