Le roi Guillaume II acheta le domaine en 1847 ; sa veuve Anna Pavlovna y vécut jusqu'à sa mort[1].
Bien qu'Anna Pawlona ne soit pas très aisée financièrement parlant, elle refuse en 1859 de vendre un morceau de forêt à la municipalité de La Haye, qui souhaite créer un parc derrière la Zeestraat. Après sa mort, le quartier de Zeehelden y a été construit.
Sa fille Sophie vend le domaine après la mort de sa mère à Adriaan Goekoop, qui, à son tour, le vend au gouvernement des Pays-Bas en 1905. Il n'y avait pas de parc derrière la Zeestraat, mais une place Anna Pavlovna conçue par l'architecte S.J. de Vletter avec tout un quartier autour.
Le palais de Rustenburg a été démoli pour faire place au palais de la Paix[1]. Lors de la construction du palais de la Paix, le palais de Rustenburg servit de bureau de construction avant d'être démoli lors de l’aménagement des jardins[2].
