Les façades en pierres du bâtiment sont supportées par deux arc-doubleaux surbaissés qui sont bandés au niveau d'une rue étroite. Une échauguette est construite dans un angle et surplombe cette même rue[1]. Il est construit au XVIesiècle par la famille de Laporte, des notables du Quercy. Puis ce sont les Dufau de Broussoles, puis les Gach, qui y habitent après la Révolution française. Au début du XIXesiècle, l'une des filles de la famille Gach épouse Jean-Baptiste Besse, un avocat en provenance de Paris[2]. La famille Besse est maintenant propriétaire de la demeure depuis près de deux cents ans[3].