Il est le fils de John Boyle (3e comte de Glasgow) et de sa femme, Elizabeth, fille de George Ross, 13e Lord Ross. En 1775, il hérite des titres de son père, est un pair représentant du parti conservateur pour l'Écosse de 1790 à 1815 et est créé baron Ross dans la Pairie du Royaume-Uni cette année-là pour lui donner un siège à la Chambre des lords. De 1810 à 1820, il est Lord Lieutenant du Renfrewshire, recteur de l'Université de Glasgow de 1817-1819 et Lord Lieutenant du Ayrshire de 1820-1842. Il est nommé chevalier de l'Ordre royal des Guelfes en 1830.
Le , il épouse Augusta Hay (1766-1822), troisième fille de James Hay (15e comte d'Erroll). Ils ont six enfants:
Après la mort de sa femme en 1822, il épouse Julia Sinclair, troisième fille de John Sinclair, 1er baronnet. Ils ont deux enfants:
À sa mort en 1843, les titres de Glasgow passent à son fils aîné, James, de sa première femme.
