Il est le fils de Jean Boudet (1768-1809) et d'Augustine d'Arboussier (1779-1849). Son père est général de division; il est fait comte de l'Empire en 1808. Il a deux sœurs: Aimée (1797-1798) et Anne (1800-1861).
Le , il épouse à Lamonzie-Saint-Martin Madeleine de la Chapelle (1810-1884); ils ont quatre enfants:
Marie-Augustine (1833-1920), mariée en 1855 avec Félix Foussal (1820-1866);
Georges (1835-1868), marié en 1856 avec Gabrielle Teyssendier de la Serve (1838-1916);
Henri (1836-1918), marié en 1864 avec Thérèse Desse (1846-1929);
Jules (1836-1925), marié en 1862 avec Pauline Latrille (1839-1920).
