Julien Pépin de Belle-Isle, chef d'escadre des armées navales et chevalier de l'ordre royal et militaire de Saint-Louis, achète en 1751 le domaine de La Freudière à Renée de La Grue, veuve du baron René de Kermoisan de Trésiguidy. En 1765, il fait construire une « maison de campagne » à l'emplacement de l'ancien manoir. Les plans en sont alors établis par l'architecte parisien Pierre Contant d'Ivry. Ce château est totalement incendié en 1794, au cours des guerres de Vendée[2]. C'est vraisemblablement au début du XIXe siècle que Jean-Baptiste Pépin de Belle-Isle, fils du précédent, entreprend sa reconstruction, dont il confie la direction à l'architecte nantais Chagneau. L'édifice sera à nouveau restauré, mais de façon mineure, en 1872-1874 par l'architecte Lenoir[3].
Le monument est inscrit au titre des monuments historiques en 1990[1].