En un terreno adquirido en 1703, Nicolas-Jérôme Herlaut, uno de los primeros habitantes de la entonces Place Louis-Le Grand, hizo construir su residencia, de 1703 a 1705, por el arquitecto Germain Boffrand, a la que añadió rápidamente la parcela del n 18, que sin embargo permanece sin construir.
En su testamento, que data de 1710, la donó a Élisabeth-Thérèse Le Rebours, esposa de su protector, el ministro Michel Chamillart, a quien debía gran parte de su dudosa fortuna. Herlaut murió en mayo de 1716 y dos meses después desapareció también el hijo de Chamillart, el marqués de Cany. La herencia se transmitió entonces a los hijos menores de este último. Michel Chamillart, albacea de su hijo y tutor legal de sus nietos, que sin embargo lo regaló la marquesa Madeleine de La Vieuville, viuda de César-Alexandre de Baudéan-Parabère, y también amante del Regente el 2 de abril de 1717. Sin embargo, en el inventario realizado a la muerte de la marquesa, resulta que ella efectivamente pagó a Chamillart la suma de 126.000 libras por esta adquisición.[2]
En 1720, la marquesa lo alquiló a Charles de Nocé, entonces propietario de otro edificio de la plaza. En 1764 pasó a ser propiedad de Elisabeth de Ligniville, viuda de Corday de La Garde. Este lo alquiló al duque Jacques-Charles de Fitz-James, de 1780 a 1785, luego al banco Pache & Cie, de 1788 a 1789, al comité de la asamblea constituyente en 1790, y finalmente a la Compañía Francesa de las Indias Orientales, que instaló allí su sede, a partir de 1791.[3]
En 1805 fue adquirido por Jean-Baptiste Joseph Boscary de Villeplaine, y luego alquilado al duque de Lévis desde 1815. Barón de Villeplaine murió aquí el 28 de diciembre de 1827, y su viuda a su vez murió allí en el 13 de abril de 1850.
En 1851, fue adquirido por Louis-Martin Lebeuf, regente de la Banque de France (1836-1854), banquero, propietario de las fábricas de cerámica de Creil y Montereau y político.
Pasó entonces a ser propiedad del industrial Gustave Lebaudy, que murió allí el 29 de diciembre de 1889, su hijo lo heredó y, en 1905, hizo retirar del patio interior un bajorrelieve del castillo de Rosny-sur-Seine, atribuido al escultor Clodion.
Al fondo del patio se encuentra un elegante edificio de estilo Luis XVI construido entre 1907 y 1908 por el arquitecto René Sergent para los hermanos Duveen, famosos anticuarios, para quienes fue su tienda parisina.
