En , il est pressenti pour occuper le poste de Gouverneur d'Australie-Méridionale, mais est rapidement écarté après un scandale politique qui le force à démissionner. Il est connu pour sa passion des courses de chevaux et des jeux de hasard, ce qui a mis à mal sa situation financière. En , il utilise des informations obtenues dans le cadre de ses fonctions au ministère des Finances pour spéculer dans des Fonds de placement. Il est contraint de démissionner de son poste de député et de sa place de secrétaire de Gladstone. Par manque de chance, ses spéculations ont échoué.
Avec la ruine de sa carrière politique, il déménage aux États-Unis en 1856, pour devenir le correspondant de The Times couvrant la Guerre de Sécession avec l'armée des Confédérés, et il est l'auteur de plusieurs livres, dont Le banc et le Jockey Club et La Vie et l'époque des druides, et contribue à des magazines. En 1865, il retourne à Londres et écrit pour Le Daily Telegraph[3]. Il continue à avoir des problèmes financiers, commençant une procédure de faillite en 1874 et 1881, procédure qui s'est poursuivie contre sa succession après sa mort.
