Il est le propriétaire du violon le Lord Wilton(en) auquel il a donné son nom. Musicien, il est un associé d'Arthur Sullivan, de Gilbert et Sullivan. Sa femme Laura Caroline (1842-1916), fille de William Russell et Emma Campbell, est une des beautés de la société de son époque. Ils se sont mariés le et ont deux enfants, Arthur George Egerton, 5e comte de Wilton (1863-1915), et Elizabeth Emma Geraldine Egerton (1865-1953). Après sa mort, en 1899, son épouse se remarie avec Sir Frederick John William Johnstone.