Le , il épouse à Paris Anne-Geneviève-Caroline Boscary, fille du financier Jean-Marie Boscary et d'Anne Catherine Chol de Clercy. Il est le beau-père de Lucien-Cécile-Louis Lemercier (fils du comte Lemercier), du comte Gustave Gravier de Vergennes et du marquis Louis-Alexandre-Napoléon de Cassagnes de Beaufort de Miramon.
Jean-Baptiste Jame disparaît mystérieusement dans la nuit du 24 au . Selon quelques sources postérieures à sa disparition, il est mort le à Baton Rouge en Louisiane.