Regnault de Beaumont, d'une branche de la maison de Seignelay, possédait le fief d'Avigneau en 1339. Devenu la propriété de Philippe de Champs-Montreuillon au début du XVe siècle, il est donné en dot à Marie de Champs, sa petite-fille, quand elle épouse, vers 1540, Guillaume de Chuin. Puis Claude de la Bussière fait entrer le château dans le patrimoine des Chastellux.
François 1er y fut reçu en 1541 (âgé de 47 ans), puis l'amiral de Coligny (1519-1572). Louis XIV également, en 1652 (âgé de 14 ans), avec la régente, sa mère Anne d'Autriche. Léon de Chastellux, baron d'Avigneau, cède le domaine à sa fille Anne, dame Boucherat de la Rocatelle.
Thomas Marie, maire d'Auxerre et conseiller du roi, anobli pour son courage durant la Fronde, acquiert le château et le domaine d'Avigneau en 1661. En 1823, le baron Alban d'Avigneau meurt sans postérité, et son épouse Françoise de Bèze conserve la propriété jusqu'à sa mort en 1855.
Le château est vendu en 1859 à Charles-Auguste Gillon qui le revend, en 1890, à Arsène Jouan, sculpteur et antiquaire, bienfaiteur du musée d'Auxerre. Son successeur[Qui ?] précipite la ruine de cette belle demeure que Hugues Roux, antiquaire à Paris, réussit à sauver dès 1924.
L'édifice est inscrit au titre des monuments historiques en 1988[1].