Il rejoint ensuite la Caisse nationale du Crédit agricole, d’abord comme directeur général adjoint (1993-1999), puis comme directeur général (1999-2005). À ce titre, il a assumé l'introduction en bourse de Crédit agricole SA (2001), puis l’acquisition et l’intégration du Crédit lyonnais, dont il est devenu président (2003-2005), dans le groupe Crédit agricole.