Une maison forte seigneuriale de Colaverey est citée en 1233[2] mais aussi comme motte et lieu seigneurial du dict Coulaverdey, où souloit estre le chastel, fermé de fossez, qui est de present en ruyne en 1539[3]. Elle est relevée en 1550 et le dernier château fut construit par Joseph-Aimé Hennequin en 1725. Il fut vendu en 1898 à Madame Riencourt de longpré. Il fut abandonné vers les années 1950 et il fut racheté dans les années 2000. Maintenant il est ouvert par ces propriétaires pour le patrimoine, accueille l'association A Cloche fontaine et est ouvert au public pour une représentation de cette même association pour une récolte de fonds a fin de récolter des fonds pour la rénovation de l'église de Fontaine-Luyeres
L'édifice est inscrit au titre des monuments historiques en 1988[1].