Il rejoint la Brigade des fusiliers britannique en tant que sous-lieutenant le , devient lieutenant le et capitaine le . Somerset se présente sans succès pour le Monmouthshire en 1847, mais est élu à ce poste de député en 1848 et continue à le représenter en tant que conservateur jusqu'à ce qu'il démissionne le .
Somerset épouse Agatha Miles (1827 - 1912), fille de William Miles, le . Ils ont un fils et huit filles:
Agatha Georgiana Somerset (1850 - ), épouse le major Charles Arthur Baldwyn Knyvett Leighton le sans descendance.
Evelyn Somerset ( - ), épouse George Caulfeild Prideaux Browne le et meurt en couches.
Ada Frances Somerset (1861 - ), épouse Henry Mather-Jackson, 3ebaronnet le et a cinq enfants.
Lillian Somerset (1864 - ), épouse Frederick Palmer, 6e baronnet le et a trois fils.
Le lieutenant Edward William Henry Somerset ( - ), est cadet honoraire de la reine à Sandhurst et sert dans les Royal Irish Rifles à partir du [1]
Blanche Louisa Somerset (1868 - ), épouse John George Burdon le
Muriel Somerset (1870 - ), épouse le révérend William Neville le
Hilda Somerset (1872 - ) devenue religieuse des Sœurs de la Miséricorde, Communauté des Sœurs de l'Église[2].
Somerset sert dans la 8eguerre Xhosa, puis dans la guerre de Crimée. Il participe aux batailles de l'Alma, Balaclava et Inkermann. Peu de temps après, il est promu major le , et sert au siège de Sébastopol, étant promu lieutenant-colonel le . Il est ensuite fait chevalier de 5e classe de la Medjidie et reçoit l'Ordre du Bain en 1857.
Il est promu colonel le et major général le . Il est réélu député du West Gloucestershire en 1867, mais est battu l'année suivante. Somerset est gouverneur par intérim de Gibraltar de 1875 à 1876 et en 1878. Le , il est nommé lieutenant général. Le , il est nommé colonel du 1er bataillon du Régiment du Worcestershire. Il démissionne du poste de colonel en 1883 lorsqu'il entre sur la liste des retraités, mais il est colonel-commandant du 1er bataillon du King's Royal Rifle Corps de 1884 jusqu'à sa mort en 1886.
