La maison tient son nom d'un armurier nommé Sisteron, à l'époque du règne de Louis XIV[1]. Il naît en 1589 à Figeac même. Dans les archives de l'abbé Debons, on peut y lire que «Systeron» était un très bon armurier, la finesse des ciselures gravées dans ses arquebuses lui donnait une certaine notoriété. Il aurait fait cadeau au roi d'une paire de pistolets. Une arquebuse qui lui est attribuée est exposée dans un musée à Turin. Alors qu'il est calviniste, Sisteron craint de ne plus être en sécurité. Les prémices de la révocation de l'édit de Nantes se faisant sentir. Sa renommée lui vaut, «asile et protection» du roi, qui lui accorde, à l'occasion d'une lettre du , écrite à Toulouse[2].
La tourelle d'angle, ainsi que la galerie à colonnes sont inscrites au titre des monuments historiques par arrêté du [1].