Descendant d'une famille parisienne très ancienne déjà citée en 1347 dans les annales et éloges au parlement de Paris, il est le second fils de Jean Ier de Baillet (mort en 1358) et de Jacqueline d'Ay, qui est la tante de Jacqueline vicomtesse d'Ay, épouse de Jean du Drac, président du parlement.
Il épouse Marie de Vitry, fille de Gilles de Vitry, seigneur de Goupillières, conseiller général, maître des Monnaies du roi, et de Jeanne Alexandre, nièce de Michelle de Vitry, épouse de Jean Juvénal des Ursins, seigneur des Ursins et de Trainel.
Il achète à Alix de Vaubouillon, veuve de Bérault Buisson, conseiller du roi, une partie de la seigneurie de Sceaux. Il acquiert le domaine de Sceaux-le-Petit de Jean Paillard, conseiller au parlement de Paris, qui l'avait obtenu en 1440 par un décret des maîtres des requêtes de l'hôtel du roi, à la suite de la vente de Jehan de Bréhan, licencié en lois. il est maître des requêtes ordinaire de l'hôtel du Roi Charles VI et Charles VII.
