Le château a été édifié par Ranulph "le Meschin", comte de Chester au début du XIIe siècle. Ce fut dans les années 1170 que le donjon carré en pierre connu sous le nom « Tour de César » fut construit. Le château devint une propriété royale lorsque Guillaume, 1re roi d'Écosse envahit la vallée de l'Eden 1174. Le connétable du château fort se rendit sans résistance[4].
En 1203, le roi Jean sans Terre céda le château à Robert de Vipont[5],[6]. En 1269, il fut entre les mains de Sir Roger de Clifford et resta propriété de la famille Clifford pendant presque 400 ans. Au milieu du XVIIe siècle, lady Anne Clifford en fit sa résidence et prit en charge la restauration du château; à sa mort, les comtes de Thanet en devinrent propriétaires. Ils décidèrent de convertir les pièces les plus importantes en résidence classique. Les parties supérieures de la « Tour de César » furent changées aux XVIIe et XVIIIe siècles.
Le mur au nord de la résidence et la partie ouest de l'aile nord où se trouve la tour ronde datent du XIIIe siècle. La partie est fut construite en 1554. En 1648, la résidence fut en partie démolie puis restaurée par Lady Anne Clifford de 1651 à 1653. Elle fut en grande partie reconstruite en 1686 et l'aile nord-est fut ajoutée en 1695. Au XIXe siècle, elle fut à nouveau restaurée et des fenêtres à guillotine furent ajoutées.
En 1972, le château fut acheté par « Ferguson Industrial Holdings » et devint la résidence principale du patron de la compagnie de Denis Vernon et famille : les Vernon vécurent au château d'Appleby jusqu'en 1990. Pendant cette période, Denis Vernon qui était un défenseur de l'environnement, créa un centre de survie pour les espèces rares.
D'importantes améliorations furent apportées dans la structure des bâtiments, le donjon du XIIe siècle en fut l'illustration.
La réalisatrice de documentaires et de films Susannah White mit en vedette Denis Vernon et le château d'Appleby dans son documentaire pour la BBC dont le sujet traitait de la foire aux chevaux gitane ayant lieu chaque année à Appleby.
Le château d'Appleby est aujourd'hui une résidence privée qui n'est pas ouverte au public[7].
La Tour de César est construite en pierres de taille grises. Elle mesure environ 24 m de haut et possède quatre étages. Le bâtiment principal se situe sur deux ailes qui sont à angles droits. Une tour ronde semi-circulaire dépasse du mur situé au nord de l'aile nord. Au sud de l'aile est se trouve une grande tour carrée.
L'entrée donnant sur la cour du château et les deux petites habitations d'à côté sont classées Grade I. L'entrée, datant probablement du XVIIe siècle, est en pierre grise avec des créneaux sur le dessus.
Dans le parc on trouve « Lady Anne's Beehouse », un bâtiment construit au milieu du XVIIe siècle par Lady Anne Clifford pour accueillir ses visiteurs. Il s'agit d'un bâtiment en pierre, de forme carrée, haut de deux étages et dont le toit ressemble à une pyramide avec une porte au premier niveau. Le niveau supérieur possède une fenêtre cintrée en ogive sur chacun des trois côtés et une porte sur le quatrième. Ce bâtiment est également classé Grade I.
Deux parties des murs extérieurs en grès du château datant principalement XVIIIe et XIXe siècles sont classées Grade II, tout comme le bâtiment « North Lodge » doté de créneaux, datant lui du XIXe siècle. Le parc entourant le château est classé Grade II[8].
