バイエルン選帝侯フェルディナント・マリアが1676年にホルヴァルト家から土地を買い取り、城を建てたのが始まりである。豪華なパーティや狩猟大会などでこの城がもっとも栄華を極めたのはマクシミリアン2世エマヌエルと神聖ローマ皇帝カール7世の時代であった。
1849年から1851年にかけて、バイエルン王マクシミリアン2世は新たに土地を買い足し、王室建設官リーデルによって大規模な増改築を行った。こうしてこの城は、4つの塔と鋸壁を備えたネオゴシック様式となった。のちにルートヴィヒ2世によって、この4つに加えて、『イゾルデ』と名付けられた最も高い5つ目の塔が北塔として加えられることになる。1853年、マクシミリアン2世は、専用の小さな港も作らせた。
ルートヴィヒ2世は、この城を夏の離宮として利用した。毎年5月11日になると王は居城をベルク城に移し、ここから国政を取り仕切った。このため、ベルクとミュンヘンのあいだには専用の電信回線まで引かれていた。
1868年、ロシア皇后マリア・アレクサンドロヴナが王の招待を受けてベルクを訪れた。ルートヴィヒ2世は彼女の滞在中、豪勢に準備させたこの城を居城として明け渡したが、その時以外、王自身の生活のためにはむしろ簡素にされていた。
庭園は歴代の城主によりフランス式庭園からイギリス式庭園まで変遷したが、ルートヴィヒ2世はムーア風のあずまやを建てさせた。このあずまやは、本来ミュンヘンの王宮屋上のサンルームに置くために造られたものであった。また、1876には小さな礼拝堂も建てさせている。
1886年6月12日、ルートヴィヒ2世は逮捕され廃位されたのち、この城へと送られ、医師のフォン・グッデンと共に散歩に出たきり、ともに帰らぬ人となった。死因は今日も謎に包まれたままだが、公式発表に従うところによると、1886年6月13日に城から遠くないシュタルンベルク湖にて溺死したという。このため、亡骸が発見されたシュタルンベルク湖畔には彼を偲ぶ礼拝堂が建てられ、岸に近い湖面に木製の十字架が建てられている。
王の死後、ベルク城は博物館となった。王の死後よりまったく手を加えられておらず、歴史的価値が高いとして、1939年には記念館に認定された。
第二次世界大戦直後の一時期、城はアメリカ軍に使用されていた。第二次世界大戦によって特に被害を受け、崩壊した各塔は、1949年から1951年にかけて取り除かれ、城の根本的な改装がなされることとなった。これによって城は塔を失ったが、礼拝堂は手付かずのまま残された。
