En 1842, après avoir été (neuvième) maître de la chasse de quorn de 1827 à 1831, il prend la maîtrise de la chasse de Grafton de George FitzRoy (4e duc de Grafton), le cousin de son père, et en reste le maître jusqu'en 1862.
À sa retraite de la maîtrise de la chasse de quorn, il vend ce pack à Harry Goodricke, 7e baronnet. Pour le Grafton, il achète des chiens au magnat de la brasserie Harvey Combe, qui les a achetés au célèbre sportif George Osbaldeston; en 1847, d'autres chiens sont achetés au 4e comte appauvri de Shannon. Lord Southampton chasse avec la meute Grafton entièrement à ses propres frais, sans abonnement d'aucun membre de la Chasse.
William Webb le dépeint comme le maître de la Grafton Hunt vers 1845. Whittlebury est au cœur de la Grafton Hunt, sur le domaine FitzRoy du duc de Grafton, dont l'un des sièges est Wakefield Lodge, à proximité.
Le , il épouse Ismania Catherine Nugent, dont il a cinq enfants: