Membre de la famille d'Agoult, seigneurs de plusieurs lieux dans l'actuel secteur du Luberon dont le pays d’Apt, de Sault, ou encore Goult (du XIe au XVIe siècle).
En 1676, un autre Joseph d'Agoult, chevalier et baron d'Olières (x Marthe de Gaspari) commande la construction d'une chapelle dédiée à Saint-Joseph près de sa bastide de Peyra Ficha à Ollières[1].