De 1995 à 1999, il est le directeur financier de Salomon Smith Barney. Puis il est nommé directeur financier de la division Global Corporate and Investment de la banque Citigroup. Un poste qu'il occupe quatre ans avant de devenir le PDG et directeur financier de Bank One Corp.
Puis, il part travailler chez JPMorgan Chase & Co de 2000 à 2002. De à , il est le PDG des services financiers de détail pour JPMorgan Chase & Co. Il a également été directeur général de One Equity Partners, société privée de JPMorgan investissement[Quand?][4].
En , il est nommé PDG de la société Visa en remplacement de Joseph Saunders[5]. Il démissionne du poste en [6].
Le , il est nommé président-directeur général du groupe financier Wells Fargo[7].
Autres fonctions
Le , le président Barack Obama nomme Charles W. Scharf membre du Conseil consultatif du président sur la capacité financière des jeunes Américains[8],[9].
Il siège actuellement au conseil exécutif d'UCSF Health et au conseil d'administration de la multinationale américaine Microsoft.
Vie privée
En 2016, il démissionne de son poste de PDG de Visa afin de passer plus de temps avec sa famille restée à New York, où il habite toujours[10].
