Perteneció a principios del siglo XVII al consejero del rey Pierre Fougeu, Sieur Descures, esposo de Claude Touchet. Luis XIII se alojó allí durante las celebraciones de la inauguración de la Place Royale.
A la muerte de Claude Touchet, en 1641, pasó a su hija, esposa de Jean Godart o Gaudart du Petit-Marais, concejal en el Parlamento. En 1644 fue vendido a Honoré d'Albert d'Ailly, duque de Chaulnes, antes de pasar a su hijo, Charles d'Albert d'Ailly, duque de Chaulnes.
Tras la muerte de este último, fue vendido en 1701 a Jean Aymar de Nicolaÿ, marqués de Goussainville, que murió en 1737, sucedido por su hijo, Aymar Jean de Nicolaÿ, coronel de dragones, entonces primer presidente de la Cámara de Cuentas de Paris, y el hijo de este último, Aymar Charles de Nicolaÿ, también coronel de dragones, entonces primer presidente de la Cámara de Cuentas de París, guillotinado en 1794.
Secuestrado por los revolucionarios, fue devuelto en 1795 a la familia Nicolaÿ, que lo conservó hasta 1822. Luego fue comprado por la familia Moreau, que lo conservó hasta 1898 y luego lo vendió al Sr. Ricbourg.
A mediados siglo XIX, la trágica actriz Rachel vivió allí en el 1 piso en enero de 1858, su funeral atrae a una multitud en la Place des Vosges.
También estuvo habitado por el político Eugène Bethmont y por el historiador del arte Anatole de Montaiglon.[2]
El 1 piso es actualmente la sede de la Academia de Arquitectura.
Las fachadas, los techos de la plaza, la galería abovedada, y algunas decoraciones interiores están clasificados como monumentos históricos desde 1954.[1] Las demás fachadas están inscritas el mismo año.
