En 1651, el pintor Charles Le Brun compró vastos terrenos, en parte ya construidos,[1] en una pequeña colina en el lado noreste de la montaña Sainte-Geneviève . Estaban entonces fuera de la ciudad, justo detrás del recinto de Philippe Auguste, cerca de la Porte Saint-Victor El pintor murió en 1690 y su viuda en 1699. Fue entonces Carlos II Le Brun, auditor del Tribunal de Cuentas, sobrino y legatario de la pareja, quien se convirtió en propietario. Inmediatamente decidió construir un hotel allí y confió el diseño al entonces desconocido arquitecto Germain Boffrand . Fue el maestro albañil Nicolas Saint-Denis quien hizo los planos en 1700 y 1701. Carlos II vivió allí y alquila apartamentos allí. Entre sus inquilinos se encuentran el pintor Antoine Watteau en 1718 y 1719 y el grabador Edme Jeaurat entre 1720 y 1726. El patrón del hotel murió allí en 1727.
Georges-Louis Leclerc de Buffon, intendente del Jardín Real de Plantas Medicinales (el actual Jardin des Plantes ), vivió en el hotel en 1766. En 1805, Elisabeth Vigée Le Brun se instaló allí. En siglo XIX es de la familia de Haudicourt, que exploto allí un hotel denominado La Pension. Más tarde, un ala conectaba el edificio principal con el edificio de la calle, en el lado suroeste.
En 1912, la ciudad de París lo compró con el proyecto de instalar allí una escuela. De hecho, fue la sede de la Oficina de Vivienda Social de París desde 1923, cuando la ciudad reformó su política de vivienda social (y creó, en particular, la RIVP ). Durante el siglo XX, el ayuntamiento de París reestructura y densifica el terreno, primero destruyendo los pequeños edificios antiguos que aislaban el hotel de la calle, luego construyendo el edificio sur en la década de 1930 y luego el edificio norte en la década de 1960. Fue catalogado como monumento histórico en 1955[2]
En la década de 1990, una campaña de restauración lo dotó de una puerta neo-Luis XV. Albergó la dirección del OPAC de París hasta 2008. En 2009, el grupo de prensa De Particulier à Particulier lo adquirió por un importe estimado de 35,5 millones de euros. El trabajo para transformarlo en un espacio de alquiler se llevó a cabo nuevamente a mediados de la década de 2010.[3]