Le château est construit en 1770 pour Joseph Charette de Briord, à l'emplacement d'une construction médiévale, siège de la seigneurie de Briord, dont l'origine remontait à 1225 et qui fut la propriété de Martin de Rezay en 1450[2] et de Pierre Landais.
Cette seigneurie exerce un droit de haute, moyenne et basse justice sur dix paroisses entre 1437 et la Révolution[2].
Il est acquis par l'armateur nantais Dubois-Violette (qui possédait déjà le château de Chassay) en 1800 et reste à lui puis à son fils jusqu'en 1833.
Le château appartient au comte de Lautrec, général des armées du roi des Deux-Siciles, qui y édifie la tour vers 1860, sur le corps central du château, qui sera modifié par le propriétaire suivant.
Il est ensuite vendu à Jean-Baptiste Étienne, petit-fils de l'industriel nantais Jean-Simon Voruz qui y décède le [2].
Il demeure ensuite dans la famille Étienne et ses descendants, la famille Say, connue pour son industrie sucrière à Nantes.
En 2022, Éric Peters, entrepreneur de la région parisienne, acquiert le château avec pour souhait de restituer, protéger et partager le domaine de Briord sans qu'il ne devienne un hôtel 4 étoiles. Il a pour projet de rénover cet édifice et de «créer une bulle temporelle autour de Briord», mais pas au-delà de ce qu'il était dans les années 1930[3]. Le château s'ouvre au public pour la première fois en à l'occasion des Journées européennes du patrimoine. L'un des premiers objectifs de rénovation est la chapelle Saint-Germain, également édifiée au XVIIIesiècle, dont le toit a aujourd'hui disparu[4].