Le , dans le but de fonder une école de Charité, Anne Large échange plusieurs domaines qu'elle possède contre deux pièces de vignes situées à Loix. Entre le et le , le maçon Texier et l'entrepreneur Habert réalisent les travaux de construction. Anne Large donne la maison, les meubles et les ornements de la chapelle à la congrégation des Filles de la Sagesse pour servir de lieu d'instruction de jeunes filles et pour soigner les malades. A ce stade, l'école de Charité contient trois chambres, une chapelle qui sert notamment de salle de classe, une salle à manger et une cuisine. Le , le curé de Loix, sous l'invocation de sainte Anne, béni la chapelle et la cloche[2].
Une nouvelle cloche fondue par François Lazouvelle est acquise par l'école de Charité en 1805. Le maire de Loix, en 1832, indique la nécessite d'une rénovation de la chapelle, qui seront réalisés en 1834 par Louis Bouthillier. A l'emplacement des écuries, au sud du couvent, est installée une salle d'asile. La cour carrée qui ouvre sur la rue est alors entourée de plusieurs chambres, d'un cuisine, d'un réfectoire et d'une pharmacie. Deux jardins sont aménagés, un au nord-ouest, et un autre à l'ouest, séparé par la rue. Une buanderie est ajoutée, adjacente à une cour. Jean-Baptiste Malardier entrepreneur de maçonnerie à Loix, qui réalisa plus tôt la reconstruction de l'église Sainte-Catherine, opère sur l'école de Charité de nouveaux travaux le . Finalement, en 1856, la municipalité fera ajouter une nouvelle classe au nord du couvent pour servir d'école communale de filles. Ces travaux seront menés par Dervieux Bonnin[2].
Au cours du XXe siècle, le couvent perd peu à peu de son importance avec la chute démographique de Loix, jusqu’à disparaître.
Aujourd'hui
Le bâtiment, toujours propriété de la commune, sert aujourd’hui de salle des fêtes pour Loix. Il est situé en bordure de la rue de la Poste[2].