George Brydges épouse Susan Montagu, fille de Henry Montagu (1er comte de Manchester), dont il a trois filles, et se remarie à Jane Savage, fille de John Savage (2e comte Rivers), avec qui il a trois filles. Son frère, William Brydges, lui succède comme 7e baron Chandos. Après la mort de William en 1676, la baronnie passe à un parent, James Brydges, qui est ambassadeur d'Angleterre à Constantinople, de 1680 à 1685.
Le , George tue Henry Compton dans un duel à Putney, et est jugé et reconnu coupable d'homicide involontaire, le , après une longue peine d'emprisonnement. En , il est mort de la Variole, et est enterré au château de Sudeley, son lieu de résidence.