Le château a été construit sur ordre du grand-maître Dietrich von Altenburg à la place d’une petite forteresse détruite en 1256. Il est entouré à l’est des eaux données par la rivière Angerapp et au sud d’une petite rivière appelée aujourd’hui Tchernouppa. Celle-ci se jetait avec force d’un étang d’un moulin situé en amont, et entourait les douves du château à l’ouest et au nord. Le château est lui-même construit sur des piliers sous la direction du grand-maréchal du château de Königsberg. Le château a été reconstruit deux fois à cause d’incendies, en 1376 après l’attaque du grand-duc de Lituanie, et en 1457 à l’époque des guerres de la ligue des villes de Prusse.
Le château servait de bastion contre les attaques lituaniennes et en même temps de refuge des populations qui étaient sous la protection de l’Ordre Teutonique, ainsi que de place d’armes pour ses expéditions. Cependant le château n’était pas suffisamment protégé. Le grand-maître Heinrich von Dusmer déclara en 1347 qu’il ne pouvait entretenir une garnison importante, ni ne pouvait abriter de commanderie et le château fut ravalé au rang de Pflegeramt. Celui-ci est typique des constructions de la Prusse-Orientale du Moyen Âge, servant à la fois de forteresse et de monastère, dont les bâtiments étaient réunis en un seul ensemble. Il y avait une petite citadelle, appelée Konventhaus pour les assemblées des chevaliers-moines, de plan carré à deux niveaux avec d’épaisses murailles aveugles et une cour intérieure avec un puits. Le soubassement des murailles au niveau des douves était fait de pierres des environs assemblées selon la méthode des architectes gothiques. Le haut était fait de maçonnerie de briques avec d’étroites meurtrières. La citadelle n’avait qu’une entrée, dans l’aile ouest. Le Vorburg était quant à lui entouré de hauts murs autour d’un espace relativement grand, en épousant les contours de la colline. Les murs étaient flanqués de deux hautes tours crénelées.
Ce n’est que vers 1466 qu'un village se construit autour du château. Il y avait un village appelé Freiheit («Liberté») au sud, et le village de Hakelwerk avec une auberge, au sud de l’étang du moulin. En amont de l’Angerapp se trouvait un petit hameau prussien, Sparge. Ces villages étaient habités par des paysans et de petits commerçants. Le château est arrangé au début du XVIesiècle avec de nouvelles constructions. Après la sécularisation de l’Ordre en 1525, Insterburg devient la résidence du gouvernement de la région d’Insterbourg et le village reçoit en 1585 les privilèges de ville de la part du margraveGeorges-Frédéric d'Ansbach(1539–1603), à l’époque du duché de Prusse. Insterburg obtient d’avoir un tribunal, des armes et un sceau.
Pendant les tourmentes du XVIIesiècle, le château est assailli plusieurs fois et sert de refuge. Le , il est pris par l’armée suédoise. Des princes suédois s’y sont rendus plusieurs fois. Ainsi la reine de Suède, Marie-Éléonore de Brandebourg, y demeure à partir de 1642, ce qui a pour conséquence l’agrandissement de la ville. Le prince polonais Czartorycki s’y est réfugié avec sa famille en 1704 pour fuir le roi Charles XIIde Suède.
Du XVIIIeauXIXesiècle, le château abrite le tribunal, un hôpital militaire de deux cents lits (à l’époque des guerres napoléoniennes), des dépôts de vivres et de fourrages et une caserne d’un escadron d’uhlans. Tout cela avait provoqué des reconstructions et des ajouts, mais au milieu du XIXesiècle, il ne restait plus que les murs de la citadelle, le Vorburg réaménagé et une tour (la Pein-Turm) sur laquelle on avait installé une horloge, par la suite les remparts sont en partie détruits.
Après la Première Guerre mondiale, le château est converti en musée régional et le Vorburg continue d’abriter le tribunal de la région. Le château est incendié au cours de l'offensive soviétique de Prusse-Orientale de l’hiver 1945. Les restes de la citadelle sont pratiquement anéantis par un autre incendie en 1949. Ne restent que les ruines des murs extérieurs. L’ensemble est consolidé dans les années 1950, mais il est aujourd’hui abandonné et en ruines. L’aile ouest de la citadelle a disparu après la Seconde Guerre mondiale, ainsi que la Pein-Turm. La partie nord et nord-ouest du Vorburg ont disparu.
Objet patrimonial culturel de Russie d'importance fédérale (1960)
Russie
Oblast de Kaliningrad
