Après 1585/1586, le prince évêque Ernst von Mengersdorf fait reconstruire le domaine de la famille Geyer et construit le palais actuel dans le style Renaissance[1].
En 1580 - après des achats partiels antérieurs depuis le règne du prince-évêque Veit II von Würtzburg - le site ainsi que le château de la famille Geyer tombèrent aux mains de l'évêché de Bamberg.
Le prince-évêque Johann Georg Zobel von Giebelstadt (gouverneur de 1557 à 1580) avait un parc aménagé au sud du palais qui n'existe plus aujourd'hui. Aujourd'hui, seule la maison du jardinier en construction massive et à pans de bois, qui sert de résidence étudiante dans le Mühlviertel, témoigne de ce parc.
Après une reconstruction dans le style Renaissance, y compris l'ancien bâtiment, l'édifice servit de siège municipal aux princes-évêques ; Le prince-évêque Ernst von Mengersdorf est le client (armoiries à l'extérieur du côté sud-ouest). C'était probablement le siège des évêques au pouvoir jusqu'à la fin des travaux de construction de la nouvelle Résidence. Les armoiries du prince-évêque de Bamberg Marquard Sebastian Schenk von Stauffenberg sont visibles sur la fontaine de la cour intérieure.
Une fois les travaux de construction de Domberg terminés, le château a été largement utilisé comme bâtiment administratif. Après l'effondrement des deux pignons Renaissance du côté nord dans les années 1740, on lui a donné son aspect actuel.
Le château est actuellement utilisé par les autorités de la ville de Bamberg.