Carnarvon est spirituel, hospitalier et extravagant; Samuel Pepys note qu'il dit que Dieu fournit du bois pour que les hommes puissent payer leurs dettes. Il est rarement intervenu dans les affaires publiques, mais son intervention dans le débat de la Chambre des lords sur la destitution de Thomas Osborne (1er duc de Leeds) en est cruciale. Dans un discours empreint d’esprit et d’humour, il cite des exemples remontant à plus d’un siècle pour montrer que la mise en accusation d’un autre personnage public est pratiquement une garantie d’être destitué et invite avec enthousiasme ses pairs à "marquer le premier qui ose accuser Lord Danby et voir ce qu’il va devenir ". Les Lords décident alors de ne pas emprisonner Danby avant qu'il ne soit entendu pour sa propre défense.
Il est un ami de la future reine Anne et est l’un des rares qui lui soit restés fidèle après sa violente querelle avec Guillaume III et Marie II, qui l’a bannie de la Cour en 1692. Quand Anne est réconciliée avec William après la mort de Mary en 1694, Carnarvon remarque avec cynisme les grandes foules qui se trouvent chez elle et lui dit qu'il espère qu'elle se souviendrait du temps où aucun d'entre eux ne l'avait appelée.
Portrait huile sur toile de Charles Dormer, 2e comte de Carnarvon, 50 x 40 pouces.
Dormer se marie deux fois. Tout d'abord à l'hon. Elizabeth Capel, fille d'Arthur Capel (1er baron Capel) et Elizabeth Morrison vers 1653. Ils ont 3 filles et 1 fils:
Charles Dormer, 3e vicomte Ascott, né le , décédé avant 1673. Il s'inscrit à la Christ Church d'Oxford, le . Il obtient son diplôme du Master of Arts du Merton College, Oxford University, Oxford, Oxfordshire, Angleterre, le ) [1]
Lady Isabella Dormer, née le , mariée à Charles Coote, 3e comte de Mountrath [2]
En secondes noces, il épouse Lady Mary Bertie (1655-1709), fille de Montagu Bertie (2e comte de Lindsey) et de sa deuxième épouse Bridget Wray, baronne Norris, avec qui il n'a aucun enfant.
Il est mort à Ascott House(en) et est enterré à Wing dans le Buckinghamshire. Avec sa mort, le comté et la vicomté disparaissent, tandis que Rowland Dormer, petit-fils du deuxième fils du 1er baron Dormer, hérite du titre de baronnet et de la baronnie.
Après sa mort, ses filles Elizabeth et Isabella héritent de ses biens [3].
↑G.E. Cokayne; with Vicary Gibbs, H.A. Doubleday, Geoffrey H. White, Duncan Warrand and Lord Howard de Walden, editors, The Complete Peerage of England, Scotland, Ireland, Great Britain and the United Kingdom, Extant, Extinct or Dormant, new ed., 13 volumes in 14 (1910-1959; reprint in 6 volumes, Gloucester, U.K.: Alan Sutton Publishing, 2000), volume III, page 45. Hereinafter cited as The Complete Peerage.