Le château fort ayant disparu, il ne reste que quelques vestiges, essentiellement le pan Ouest de l'enceinte. De l'allure générale du château, il ne reste que des plans cadastraux napoléoniens qui laissent deviner le plan de masse.
En observant les remparts de la rue des Basses-Prisons, on voit que la maçonnerie est majoritairement en granit rose, et les pierres sont collées avec un mortier de terre. L'appareillage des pierres est assez grossier, les pierres ne sont pas taillées en surfaces planes, ce qui est compréhensible, le granit étant bien plus dur à tailler que le calcaire.
La grosse tour cylindrique Nord, qui était une tour d'angle faisant la jonction entre la muraille Nord et la muraille Ouest, fait environ 8 mètres de diamètre. Sa terrasse, surmontée de créneaux et d'une sorte de kiosque, ne sont certainement pas d'origine. La tour, ainsi que le reste des murailles, devaient culminer plus haut à l'époque.
Les deux autres tours de flanquement de la muraille Ouest, en "fer à cheval", sont moins grosses, environ 4 mètres de diamètre. Toutes ces tours ont des meurtrières, et les courtines sont aussi percées de meurtrières par endroits.
