Le château de Challes est une bâtisse dont les tours furent démantelées pendant la Révolution, il reste peu de traces de l'ancien château. Concernant l'édifice actuel, la partie nord-est est la plus ancienne, elle date des derniers seigneurs de Challes qui y restèrent jusqu'au XVIe siècle. Sujet à rénovation, le château fut restauré par Henri de Vallin au XIXe siècle qui fit construire une petite maison d'habitation et des dépendances dans le parc où se trouvaient une orangerie, un jardin et des bois[1].
