Bagshot Park fue utilizado posteriormente por el príncipe Federico Guillermo, duque de Gloucester, sobrino del rey Jorge III. Su viuda, hija del rey Jorge III, siguió viviendo allí después de su muerte hasta que se mudó en 1847. La casa original fue demolida en 1877/78.
Un nuevo edificio con 120 habitaciones fue terminada en 1879. Desde 1880 ésta fue la residencia principal del príncipe Arturo, duque de Connaught y Strathearn, hijo de la reina Victoria. El duque, que era Gobernador General de Canadá desde 1911 hasta 1916, murió en Bagshot Park en 1942. En esta casa nació su hija la princesa Margarita en 1882.
