Descendant d'une illustre famille très ancienne de Paris, déjà citée en 1347, dans les annales et éloges au parlement de Paris, il est le fils de Pierre Baillet et de Marie de Vitry.
Il épouse Nicole de Fresnes (1425-1464), dite Gillette ou Colette de Fresnes. De cette union naîtront successivement :
- Jean III Baillet, futur évêque d'Auxerre ;
- Thibault Baillet, président à mortier au parlement ;
- Pierre Baillet, seigneur de Villiers-les-Rigault ;
- Anne Baillet, abbesse de l'abbaye de Saint-Antoine-des-Champs à Paris ;
- Marie Baillet, coadjutrice de sa tante Marie Juvénal des Ursins au prieuré Saint-Louis de Poissy ;
- Catherine Baillet, religieuse à la ferme de l'abbaye de Villiers-aux-Nonnains (commune de Cerny) avec des terres à Avrainville, sur le fief de Carneaux et La Norville ;
- Geoffraine, dite Catherine Baillet, épouse de Pierre IV L'Orfèvre ;
- Geneviève Baillet, épouse de Jean de Longuejoüe ;
- Jeanne Baillet, épouse d'Aubert Le Viste, puis de Jean II Hennequin ;
- Odette Baillet, épouse de Robert II Thiboust, président à mortier au parlement de Paris.
En novembre 1436, après la soumission de la ville de Paris à l'autorité du roi Charles VII, il est choisi comme conseiller au parlement de Paris. Il exercera cette charge jusqu'en 1461, date à laquelle Louis XI, après son couronnement, le fasse maître des requêtes ordinaire à son hôtel et rapporteur de la chancellerie.
Il hérite de son père d'une partie de la seigneurie de Sceaux (Sceaux-le-Grand, avec l'hôtel des Baillet dans l'actuel parc, et Sceaux-le-Petit) et devient donc seigneur de Sceaux. En 1454, il achète à l'abbaye de Saint-Germain-des-Prés le domaine de l'infirmerie, dit de l'« enfermerie », dans les environs de l'église.
En 1470, à son hôtel de Sceaux-le-Grand, il reçoit à déjeuner le roi Louis XI accompagné de la reine et de la cour, à l'occasion d'un voyage que celui-ci faisait vers Amboise. Jean II Baillet exerce alors le droit de haute justice sur ses terres.
