Lors de l'élection de 1705, le duc de Marlborough, à qui le don par le roi du Palais de Blenheim a procuré une grande influence à Woodstock, a organisé l'élection de son homme de confiance, le général William Cadogan, comme député de l'arrondissement. Lors de l'élection de 1708, Marlborough remplace Abingdon en tant que Lord lieutenant du comté et son influence est telle que Bertie ne se donne pas la peine de se présenter à l'élection. Abingdon a peut-être envisagé de le nommer pour l'Oxfordshire lors de l'élection de 1710, mais choisit finalement Francis Clerke, dont le neveu a épousé Catherine, la cousine germaine de Bertie. Sous le ministère Harley, Bertie tente d'obtenir un poste de capitaine dans les Gardes mais n'a pas réussi.
Le il épouse Mary (décédée en 1725), fille de Thomas Browne d'Addlethorpe et veuve de Nicholas Newcomen de Theddlethorpe. Après sa mort, le , il épouse Mary, fille du révérend Henry Marshall. Il n'a pas d'enfants. Après sa mort, le , il est enterré à Theddlethorpe, laissant son domaine à Lord Albemarle Bertie, son demi-petit-neveu.
