Robert de Mortain, demi-frère de Guillaume le Conquérant, a été probablement chargé de sa construction, à la suite de quoi il en devient propriétaire. Le château est alors entouré de terrassements protecteurs et d'un parc à cerfs (deerpark) pour la chasse. Des sources et des moulins se trouvent à proximité. Il devient un nouveau centre administratif de l'ancienne colonie anglo-saxonne de Berkhamsted.
Les rois suivants accordent le château à leurs chanceliers. Il est considérablement agrandi au milieu du XIIe siècle, probablement par Thomas Becket. Les structures d'origine en bois sont alors remplacées par de la pierre. Le château est assiégé en 1216 pendant la guerre civile entre le roi Jean et les barons rebelles, soutenus par la France. Il est alors pris par le prince Louis, futur Louis VIII, qui l'attaque avec des engins de siège pendant vingt jours, forçant la garnison à se rendre.
Après avoir été repris par les forces royales anglaises l'année suivante, il est donné à Richard, comte de Cornouailles, fils du roi Jean, qui le possède de 1243 à 1272, commençant ainsi une longue association avec le comté puis le duché de Cornouailles. Richard réamenage le château en résidence palatiale et en fait le centre de l'administration du comté. Le roi Édouard III l'agrandit au XIVe siècle et le donne à son fils, le Prince Noir, qui étend le terrain de chasse. Le château a été également utilisé pour détenir des prisonniers royaux, dont le roi de France Jean II le Bon en 1359, et des rivaux prétendant au trône d'Angleterre.
À la fin du XVe siècle, le château est démodé et tombe en déclin. Au milieu du XVIe siècle, il est en ruines et impropre à un usage royal. Il sert de carrière pour construire des maisons et d'autres bâtiments dans la ville. Il est pratiquement détruit lors de la construction du chemin de fer de Londres et de Birmingham dans les années 1830. C'est pourquoi il devient le premier bâtiment de Grande-Bretagne à bénéficier de la protection légale du Parlement. En 1930, la propriété du château passe du duché de Cornouailles à l'État. Il est administré par English Heritage en tant que site touristique. Il reste un des plus beaux châteaux à motte survivants d'Angleterre.
.svg){kind=small}
