En 1740, à l'âge de 53 ans, Lord Scarbrough se suicide en se tirant une balle dans le nez. Selon certaines sources, ce serait à la suite de la perte de confiance du roi, qui lui a reproché des indiscrétions. Il est inhumé le à Grosvenor Chapel, South Audley Street, Mayfair. La chapelle est aujourd'hui semblable à celle de 1740, malgré l'absence de marqueur pour le comte.