À l'origine, le château était entouré par un fossé, rempli au XIXe siècle, et par un mur d'enceinte d'environ quatre mètres de haut, avec des merlons, en partie encore visibles sur trois des quatre côtés. Il est traversé en son centre et sur toute sa longueur, par une route principale, qui est dominée par deux groupes de bâtiments.
À l'origine, la rue principale n'avait pas de sortie sur les deux côtés, mais était fermée par les murs et les douves. L'accès est alors possible uniquement au moyen d'une tour avec un pont-levis vers l'est (sur l'actuelle Piazza Castello). De l'autre côté, se trouve la canal d'irrigation de la Roggia Mora, ce côté était protégé par deux tours cylindriques à chacun des angles, dont seulement celle au sud-ouest a été conservée jusqu'à nos jours.
Les bâtiments à l'intérieur des murs sont formés par deux étages et une mezzanine mansardée : le rez-de-chaussée servait pour le stockage du vin et de la nourriture, l'étage du milieu était utilisé par le logement tandis que le dernier était utilisé comme un plancher pour le stockage des grains. Les murs sont construits avec des galets en arête-de-poisson, entrecoupés de briques, avec parfois une fonction décorative. Certains bâtiments possèdent des fenêtres et des portes en ogive avec des décorations en terre cuite de grande valeur. Les intérieurs des maisons ont gardé les anciens plafonds à caissons. Les maisons les plus riches possédaient des murs ornés de fresques. L'une de ces fresques est maintenant conservée dans le musée municipal de Novare.
En dépit des rénovations massives des XVIIIe et XIXe siècles, le château de Ghemme est l'un des mieux conservés du Piémont et conserve intacte une atmosphère charmante. Dans les caves vieillit encore le précieux vin de Ghemme.
La définition double de « château-abri » est donnée à Ghemme mais il n'est en fait rien de plus qu'un château fort étendu.
