La construction du bâtiment est financé par l'intendant Michel Bégon de la Picardière. La famille Bégon le détient jusqu'en 1753. Il changera ensuite plusieurs fois de propriétaire, et ce jusqu'à son abandon vers 1850[1]. Dans les années 1870, les ruines du manoir inspirent deux romans : L'Intendant Bigot (1872) de Joseph Marmette et The Golden Dog (1877) de William Kirby, où ce lieu est le théâtre des amours illicites de l'intendant François Bigot[2]. Situé au bord de la rivière des Commissaires, c'est un lieu à la fois champêtre mais aussi intrigant pour les visiteurs. En 1909, le dernier mur de pierre qui subsistait est démantelé.
Des fouilles archéologiques sont réalisées en 1979 et 1980 alors qu'un quartier résidentiel est en construction sur ces lieux. Propriétaire du terrain depuis 1944, Albert Potvin fait construire sa demeure avec les ruines du château (maintenant le 1287, rue du Vice-Roi).
