Dorothy había mantenido una relación amorosa antes de su matrimonio con Thomas Wharton, I marqués de Wharton, quien era un conocido mujeriego el cual al parecer se había visto obligado a huir de Inglaterra por un tiempo a consecuencia de sus numerosas deudas, ocultando este hecho al vizconde y continuando supuestamente con dicha relación estando casada. Según rumores sin confirmar, tras descubrir el idilio de su esposa con Wharton, Charles ordenó que Dorothy fuese encerrada de por vida en sus habitaciones en Raynham Hall, residencia de la familia, impidiéndole ver a sus hijos y prohibiéndole cualquier contacto con el mundo exterior. Según una versión, Dorothy murió en su lugar de confinamiento por causas naturales, si bien otra versión sostiene que el vizconde optó finalmente por asesinar a su esposa arrojándola por la escalera principal de la mansión, declarando posteriormente que había fallecido a consecuencia de la viruela.[6]
Dorothy es comúnmente identificada como la «dama marrón», un supuesto fantasma el cual ha sido visto en varias ocasiones en Raynham Hall, llegando a ser sujeto de una famosa instantánea tomada en 1936 durante un reportaje fotográfico llevado a cabo en la mansión.[6]
