Le fort comporte trois tours : deux au niveau de la façade nord et une à l'ouest. Elles sont connectées par des galeries et des cours qui ont disparu à cause de constructions aléatoires au sein de la médina[1]. Il est centré sur une rue principale de direction nord-ouest/sud-est où, à l'extrémité sud, se trouve une petite allée plafonnée appelée Sbat El Ksar[1]. Cette dernière comporte deux portes séparées par une cour et qui, fermées, isolent le borj El Ksar du reste de la médina[1]. Au-dessous du borj El Ksar, on trouve Feskiyet El Fendri[2].