Après les morts successives de son mari, en 1881, et de leur fils, en 1884, Caroline Stuart devient propriétaire des domaines attachés aux titres de comte de Seafield et chef du clan Grant (qui comprennent notamment le manoir de Cullen House, le château d'Urquhart et le château de Grant(en)), tandis que les titres eux-mêmes passent à son beau-frère James Ogilvy-Grant(en).
Durant ses années de veuvage, Caroline Stuart s'implique dans la gestion de ses domaines et finance des initiatives publiques en mémoire de son fils, comme l'ouverture d'un hospice à Grantown-on-Spey, dans la région de Strathspey.