La maison, communément appelée « la Gabelouse » par le passé, laisse à penser qu'elle a servi de bureau aux gabelous, fermiers généraux qui levaient l'impôt sur le sel exporté, la gabelle[2].
La maison est bâtie au XVe siècle. Ses premiers propriétaires ne sont pas connus. Vers 1680, elle appartient à Charlotte Tessier, épouse de l'écuyer Raoul Fouquer, sieur du Miroux, issu d'une illustre famille d'armateurs du Croisic. À la fin du XVIIIe siècle, elle appartient à Pierre Hemery, capitaine de navire[2].
L'étage à pan de bois est en encorbellement sur la rue. Son décor « à grille » est sobre, avec un remplissage de briques disposées en arêtes de poisson ou brin de fougère. La maison se développe en profondeur sur la ruelle, deux contreforts saillants en granit rappellent que des façades en bois existaient autrefois, de part et d’autre de la rue des Salorges[2].