Il a une longue liaison avec la roturière Mary Milner, la belle fille d'un jardinier; selon certaines versions (notamment d'Augustus Hare), il aurait vécu une fausse cérémonie de mariage avec elle. Ils ont un fils, John Bowes (1811-1885), connu sous le nom de Lord Glamis de sa naissance jusqu'en 1820, et envoyé à Eton sous ce nom.
Il épouse Mary le , un jour à peine avant sa mort. Il tente de légitimer son fils par ce mariage et son testament désigne son fils comme son héritier. Selon son testament (daté du ), tous ses biens immobiliers sont laissés à Mary et à cinq autres administrateurs au nom de son fils. Les administrateurs sont également tenus de verser à Mary 1 000 £ par an à vie.
Mais ce mariage à la veille de sa mort n'a pas empêché son premier titre de passer à son frère cadet, Thomas Lyon-Bowes (11e comte de Strathmore et Kinghorne). Les tribunaux écossais admettent qu'en épousant Mary, John a été légitimé en vertu du droit écossais, mais que les deux parties (notamment le père) étant domiciliées en Angleterre, le droit anglais prévalait. Et la loi écossaise exige que les parents aient leur domicile en Écosse pour que le fils soit légitimé. C'est sur le point de domicile que la légitimation de John échoue.
Un procès amer suit le testament du comte, et après cinq ans, il est décidé que son fils, John, hériterait de ses possessions anglaises, notamment Gibside, Streatlam Castle et St Paul's Walden Bury, tandis que son frère hériterait des domaines écossais. Son titre secondaire en tant que baron Bowes disparait.
Mary, devenue comtesse douairière de Strathmore, épouse en 1831 le tuteur de son fils, William Hutt, et décède en 1860. Son fils, John Bowes, se marie deux fois mais n'a pas de descendance. Il est surtout connu aujourd'hui comme fondateur du Bowes Museum. À sa mort, la famille de son oncle hérite de toutes ses richesses et de ses propriétés, réunissant ainsi les domaines écossais et anglais de la famille Bowes-Lyon.
