Les chevaliers teutoniques commencèrent la construction du château en 1390 sur une colline située au sud-est de Bytów. Mikołaj Fellenstein dirigea les travaux de construction du château de 1398 à 1406. Le château était construit selon un plan rectangulaire en pierre et en brique de 49 mètres sur 70. Aux angles du château, trois tours cylindriques et une tour carrée furent construites. L'aile nord-ouest du château était un bâtiment de trois étages servant de logement. Ce bâtiment abritait les pièces les plus importantes, dont le réfectoire, la chapelle et le bureau du procureur. Un entrepôt se trouvait au troisième étage[2].
L'aile sud-ouest du château abritait une cuisine et un entrepôt de nourriture, et à proximité se trouvait un puits. La porte, construite sur le côté nord-est du château, était entourée de douves et d'un pont-levis qui servaient d'entrée. Les quatre tours, situées à chaque angle du château, servaient de structures défensives et abritaient l'armement.
Le royaume de Pologne prit le contrôle du château pendant la guerre de Treize Ans. En 1466, Casimir IV Jagellon céda le château à son fief du Duché de Poméranie, alors gouverné par Éric II. En 1500, la forteresse fut entourée de fortifications et de bastions. Dans la seconde moitié du XVIesiècle, le château devint la résidence de la maison de Poméranie, qui, entre 1560 et 1570, résida dans l'aile sud-est. La guerre de Trente Ans ne causa que peu de dommages à la structure. Après la mort du dernier membre de la maison de Poméranie en 1638, le château devint la résidence du staroste[4].
L'armée suédoise rase le château pendant le Déluge. Au XIXesiècle, celui-ci est partiellement reconstruit après l'accession au trône de Frédéric-Guillaume Ier de Prusse, électeur de Brandebourg. Il abritait alors un tribunal et une prison. Les premiers travaux de conservation ont été menés entre 1930 et 1939. Le château a ensuite été reconstruit à plusieurs reprises entre 1957 et 1962, puis entre 1969 et 1990, abritant alors le musée de Poméranie occidentale, un hôtel avec restaurant et une bibliothèque[5],[6],[7].