Il est le fils unique de l'homme d'État Henry Bilson Legge , Chancelier de l'Échiquier (lui-même fils de William Legge (1er comte de Dartmouth) ), de son mariage le 11 septembre 1750 avec Mary Stawell (décédée le 29 juillet 1780 ), fille de Edward Stawell, 4e baron Stawell. En 1760, elle est créée baronne Stawell, de Somerton dans le comté de Somerset , et c'est la pairie tenue plus tard par son fils[ 1] , [ 2]
Après la mort de son père en 1764, la mère de Stawell épouse Wills Hill (créé marquis de Downshire ), devenant ainsi son beau-père[ 1] , [ 2]
Il hérite d'une grande fortune et est un mécène du Turf. Il élève un gagnant du Derby d'Epsom , Blucher [ 3]
En 1779, il épouse Mary Curzon, fille d'Assheton Curzon (1er vicomte Curzon) , et ils ont une fille, Mary (1780-1864), mariée à John Dutton (2e baron Sherborne) , et ils ont six enfants. Ils n’ont pas de fils et la baronnie s’est éteinte à la mort de Stawell en 1820.
