Ses succès boursiers l'amènent à être connu comme The King of Wall Street. Il développe ses intérêts dans plusieurs sociétés de chemin de fer et se trouve souvent un partenariat d'affaires avec Cornelius Vanderbilt.
Pendant les émeutes de Draft Riots, il défend, avec une Gatling, l'immeuble des bureaux du New York Times, où il possède d'importantes participations.
Sportif, il pratique la voile avec son ami William Kissam Vanderbilt, avec lequel il partage également une passion particulière pour les courses de chevaux pur-sang et qu'il aidera à fonder le The Jockey Club(en).
À la fin des années 1860, il fait partie de plusieurs voyages de chasse dans l'Ouest américain, guidés par Buffalo Bill.
