Jean-Daniel-Henry de Molin achète, avec le concours de sa belle-mère Suzanne Seigneux une maison au Petit-Ouchy grâce à un lot de 30 000 florins gagnés aux Provinces-Unies. La campagne acquise forme un seul domaine sur lequel il fait construire de 1780 à 1783 une nouvelle demeure qui prend une cinquantaine d'années plus tard le nom d’Élysée.
Le domaine aménagé à la fin du XVIIIe siècle dans un style baroque tardif avec, escaliers, murets et topiaires sur lequel la demeure est construite en 1760–1783 peut être considérée comme l’un des plus beaux bâtiments datant du XVIIIe siècle à Lausanne.
Parmi ses propriétaires successifs figurent le banquier William Haldimand (1784–1826) et Victor de Constant (1814–1902), frère du photographe bien connu, Constant Delessert.
