La chute de la Restauration, en août 1830, et l'arrivée de Louis-Philippe d'Orléans au pouvoir, le font rentrer dans la vie privée
Il meurt sans laisser de descendance, le titre de duc de Tourzel s'éteint avec lui et sa fortune passe, après lui, à sa sœur, la duchesse des Cars[2].
Il épouse en 1832 Victurnienne Anastasie Victorine de Crussol d'Uzès (Paris, 24 juin 1809 - Hyères, 18 février 1837), fille d'Adrien-François-Emmanuel de Crussol d'Uzès, duc de Crussol, député du Gard, puis pair de France héréditaire, chevalier des ordres de Saint Louis et de la Légion d'honneur, et de Catherine Victurnienne Victorine de Rochechouart de Mortemart.