En estilo gótico, el castillo tiene una planta ovalada, en la que hay un pequeño barrio intramuros, reforzada por tres torres de planta cuadrada en los ángulos, y una maciza mazmorra adosada a la muralla. La puerta principal (Porta Legal) está flanqueada por dos torres cuadrangulares, ligeramente avanzadas, para permitir el disparo vertical sobre la entrada, conectadas por una cortina y coronadas por almenas en forma de pirámide.
La Torre del homenaje, de planta cuadrada, está dividida internamente en tres pisos. El acceso a su interior está actualmente restablecido. En el siglo XIII, la Iglesia de Nuestra Señora de Gracia fue añadida a esta torre, que fue alterada más tarde y ahora tiene rasgos renacentistas, particularmente evidentes en la bóveda artesanal. En 1744, la terraza de la iglesia fue usada para construir la Torre del Reloj.
El castillo, en su posición dominante, se asociaba a un urbanismo muy sencillo, con una única carretera, la Rua do Castelo, en dirección este-oeste, flanqueada por dos puertas. La principal, llamada Porta Legal, al este, por la que se accede al patio de la iglesia, consiste en un arco gótico con un corredor, flanqueado por dos torres cuadrangulares conectadas por un muro cortina y rematado por almenas en forma de pirámide. De aquí parte la única calle que atraviesa el pueblo y termina en la llamada Porta do Arrabalde, al oeste, con aspilleras y también flanqueada por una torre, donde en su pie derecho, en el exterior, se grabó el «vara», medida estándar de la época, para controlar las medidas utilizadas en el comercio local.
Los eruditos también señalan, como señas de identidad de la formación cultural islámica de su constructor, además de la epigrafía mencionada anteriormente, una ventana en forma de herradura en una de las torres y las similitudes entre el sistema de torres de este castillo y las murallas almohades de Sevilla.