En 1262, le puissant et richissime seigneur Jean I er de Chalon , fondateur de la maison de Chalon , fait construire ce château fort à titre de résidence principale, défendu par de fortes murailles , des fossés et par huit tours , à Nozeroy , la capitale fortifiée qu'il fonde au centre de son nouveau vaste fief jurassien, en même temps qu'une trentaine d'autres forteresses, pour protéger ses seigneuries, dont la seigneurie de Salins , et sa riche industrie du sel comprenant en particulier les salines de Lons-le-Saunier et salines de Salins-les-Bains (histoire du sel du Jura ).
En 1432, Louis II de Chalon-Arlay , seigneur d'Arlay et prince d'Orange, fait entièrement reconstruire un luxueux palais Renaissance en pierre de taille défendu par quatre tours, sur l'emplacement du château fort de ses prédécesseurs. Ce palais surnommé alors la « perle du Jura » sert de luxueux lieu de villégiature à la maison de Chalon-Arlay . L'aile sud-est du palais renferme au rez-de-chaussée une salle de près de 35 mètres sur 14 mètres de surface. Le palais est richement décoré de tapisseries , orfèvreries , vaisselle d'or et d'argent . Le prince et ses descendants y entretiennent une cour de prestige, y organisent de nombreuses fêtes fastueuses et y reçoivent des hôtes illustres de l'époque dont les ducs de Bourgogne Philippe le Bon et Charles le Téméraire , les Princes de Savoie et le dauphin de France et futur roi Louis XI en 1456. Le faste des lieux est cité dans de nombreux textes de l'humaniste et théologien Gilbert Cousin comme sa célèbre Description de la Franche-Comté .
Ruines du château.
Ruines du château.
Remparts de ville.
En 1530, le prince Philibert de Chalon , dernier membre de la maison de Chalon-Arlay , disparaît à l'âge de 28 ans sans descendant, ce qui marque la fin de la prospérité du palais et de sa cour. Les états de Franche-Comté qui y siégeaient depuis le XIV e siècle siècle, sont déplacés à Dole à cette période.
À partir de 1639, le château subit les affres du pillage lors de la guerre de Dix Ans (1634-1644), puis abrite une garnison.
Entre 1780 et 1785 , peu avant la Révolution française , alors qu'elle habite le palais, la princesse Élisabeth-Pauline de Gand de Mérode de Montmorency , épouse du duc Louis-Léon de Brancas et héritière des lieux par son oncle le maréchal de France Louis de Gand de Mérode de Montmorency , achète le couvent de l’ordre des Minimes proche de son château fort d’Arlay , abandonné et en ruine, et en fait sa nouvelle résidence principale pour profiter d'un climat moins rude que celui de Nozeroy, avec deux écuries de part et d’autre et le parc romantique actuel de huit hectares. Pour les travaux de rénovation de son nouveau château d'Arlay , elle utilise des matériaux et éléments de décors du palais de Nozeroy dont elle fait raser les restes pour échapper aux impôts . Elle est arrêtée puis guillotinée en février 1794 .
Le 15 juillet 1815 un important incendie des maisons du village incite les villageois à se servir des pierres des ruines pour reconstruire leurs demeures.
En 1868 les ruines de la seule tour subsistante du palais finissent par s’effondrer.