Le château du Pezeau appartient à l'origine au XVe siècle à Pierre de Haussaye, chanoine de Léré et seigneur des lieux en 1480. Au XVIIe siècle, après un passage dans la famille de Franqueville, la propriété entre en la possession de Jean de Louzeau, seigneur de Villatte dont la fille, Marie de Louzeau, épouse François de Reugny, dans la famille duquel la propriété est transférée.
Par la suite, au XVIIIe siècle, il est acquis par Pierre Perrinet qui était alors receveur des finances de Flandre, Hainaut et Picardie. Puis par sa fille, Marie-Louise Perrinet de Pezeau et son mariage avec Charles Claude Angrault de Langeron, il rentre dans la famille de Damas puis dans celle de Vogüé, dont le membre le plus célèbre alors est le marquis Léonce de Vogüé[2], qui en fait reconstruire une partie et y organise de nombreuses réceptions[3],[4].