Il épouse en 1896 Ethel Whibley(en) (1861-1920), belle-sœur, modèle et, avant son mariage, secrétaire de James Abbott McNeill Whistler. Whistler illustre la première de couverture de la série d'articles titrée A Book of Scoundrels[1]. Dans sa correspondance Whistler,appelle Ethel «Bunnie» et son beau-frère «Wobbles»[2].
Il se remarie en 1927 avec Philippa Raleigh, fille de Sir Walter Alexander Raleigh, poète, écrivain, titulaire de la chaire de langue et littérature anglaise à Oxford.
Il contribue à de nombreuses revues littéraires de Londres ou d'Édimbourg, en général tories, le Pall Mall Magazine, le Macmillan's Magazine, le Blackwood's Magazine. Ami du poète et éditeur William Ernest Henley, il contribue à sa revue, The Scots Observer d'Édimbourg (qui devint The National Observer, une fois publié à Londres, à la ligne éditoriale très conservatrice.
Il meurt à Hyères, à 71 ans, le et est enterré à Great Brickill, dans le Buckinghamshire.
Œuvres
A Collection of Letters of W. M. Thackeray 1847–1855 (1887)
Cathedrals of England and Wales and Their History (1888)
In Cap and Gown: Three Centuries Of Cambridge Wit (1889)
A Book of English Prose, Character and Incident 1387–1649 (1894) avec William Ernest Henley
