Il est le fils d'un ingénieur des tabacs. Il fait partie de la promotion 1919N de l'École polytechnique (France), et à la sortie il choisit de passer 2 ans à l'École des mines de Paris pour obtenir le diplôme d'ingénieur civil des mines. A l'issue de cette scolarité, il est choisi pour entrer au corps des mines, en raison d'un manque de fonctionnaires techniques à la suite de la 1re guerre mondiale.
Il est pendant la guerre directeur de cabinet du ministre Robert Gibrat, d'avril à novembre 1942.
Après quelques années dans l'Administration, lors de la création de Électricité de France en avril 1946, il est nommé directeur de l'exploitation dans l'« équipe des 4 Pierre »[1]. Il est ensuite directeur général adjoint d'EDF de 1954 à 1956.
Il est ensuite associé gérant de Lazard de 1957 à 1969.
En 1969, il est nommé administrateur-directeur général de Ugine-Kuhlmann. L'année suivante, il est président-directeur général. C'est lui qui négocie la fusion avec Pechiney à la demande des pouvoirs publics. Il constitue à cet effet une équipe de négociation, qui discute avec son homologue côté Péchiney dirigée par Georges-Yves Kervern. Selon Philippe Thaure[2], la fusion n'aurait pas eu lieu sans les grandes qualités de persuasion de Pierre Grézel, qui était par ailleurs très proche de Pierre Jouven (président de Péchiney), mais elle fut néanmoins une erreur stratégique majeure puisque Péchiney s'est ainsi diversifiée dans la métallurgie du cuivre et celle du fer ainsi que dans la chimie, ce qui a rendu le conglomérat beaucoup plus difficile à gérer.
Après la fusion qui a créé Pechiney-Ugine-Kuhlmann (PUK), il conserve le titre honorifique de président d'honneur de PUK ainsi que des fonctions d'administrateur dans différentes filiales.
