El hotel fue construido en 1630 para Paul Bailly, hijo de Chrestienne Leclerc du Vivier, capellán del rey, y fue habitado en 1640 por el juristaholandésHugo Grotius entonces exiliado en Francia.[1]
Louis Oger de Cavoye lo compró el 18 de julio de 1679 a Marie-Sidonia de Lénoncourt, esposa del marqués de Courcelles.[2] Louis Oger de Cavoye lo embelleció y lo hizo decorar por Jules Hardouin-Mansart y Antoine Lepautre.
En 1686, Daniel Gittard reconstruyó el edificio principal y la puerta de la calle para el Marqués de Cavoye y su esposa Louise Philippe de Coëtlogon.[1][3]
Después de cambiar de dueño varias veces durante el sigloXIX, fue vendido por el Conde de Beaufort a Elizabeth Wharton Drexel, una millonario estadounidense, albergando la sede de la revista Futuribles creada por Bertrand de Jouvenel. En 1981, Hubert de Givenchy se convirtió en el propietario del hôtel.
Fue comprado en 1986 por Financière et Immobilière Bernard Tapie como residencia principal[4] por la suma de 100 millones de francos.[1][5] Según Le Canard enchainé, en junio de 2021, François Pinault ofreció comprar la propiedad por 80 millones de euros.[6][7]
