Le château occupe une position dominante au sommet d'une grande colline au-dessus de la ville et garde l'approche de trois vallées.
Le premier château sur ce site aurait été construit par le breton Juhel de Totnes (également connu sous le nom de Judhael) qui est l'un des lieutenants de Guillaume le Conquérant[1]. La baronnie féodale de Totnes[2] lui est accordée en 1068, et afin de consolider son contrôle sur la région, il construit une fortification et fonde le Prieuré de Totnes dans la ville[1]. Cette première construction consiste probablement en une palissade et une tour en bois. A la mort du roi Guillaume Ier, Juhel perd ses terres, peut-être à cause de son soutien à la rébellion de 1088. La baronnie féodale de Totnes est alors accordée à Roger de Nonant, dont les descendants semblent l'avoir tenu pour les trois générations suivantes. À la suite de cela, il devient la possession de Guillaume II de Briouze, qui est probablement responsable de la construction du premier donjon en coquille de pierre et des murs sur le site[1].
En 1326, le château, tombé en ruine, est sous le contrôle de la famille de la Zouch[1]. Au cours de cette période, un ordre royal est pris pour la réparation des fortifications. En conséquence, le château est re-fortifié avec un nouveau donjon en coquillages, utilisant du calcairedévonien et du grès rouge, une écurie est construite et un constable nommé[1]. Après la Guerre des Deux-Roses, il tombe à nouveau en ruine.
.svg){kind=small}
