Le , il épouse Mary Fludyer, fille aînée de George Fludyer d'Ayston, comté de Rutland, écuyer et de Margaret Fane, fille du 9e comte de Westmoreland. Ils ont deux enfants:
Mary Augusta (née le )
Arthur George ( - , décédé avant son père), épouse le Katherine Anne Cust (née en 1822), fille de John Cust (1er comte Brownlow). Ils ont 3 filles.
La femme du 3e comte est décédée avant lui le . Son fils est mort sans descendance masculine. À la mort du comte, il est remplacé par son petit-neveu, William (né en 1853).
Il possède une importante collection napoléonienne et aurait, lors d'une visite au Louvre avec Paul Delaroche en 1848, commenté l'invraisemblance et la théâtralité du tableau de DavidNapoléon traversant les Alpes , qui avait récemment été réinstallé [1]. Il charge Delaroche de produire une version plus précise mettant en scène Napoléon sur une mule, intitulée Bonaparte traversant les Alpes. Deux versions subsistent, une à Liverpool et une au Louvre [2].
