Au Moyen Age, le château était le centre principal de la seigneurie du Freinet, occupant un territoire correspondant aux cantons actuels de Grimaud et de Saint-Tropez. Dès le XIe siècle, on trouve mention d'un castrum à Grimaud, dominant la plaine du sommet d'un piton rocheux, protégé naturellement au Nord par les fortes pentes du vallon de la Garde. Jusqu'au XIIIe siècle, les fortifications sont modestes. Le château est habité par la famille des vicomtes de Marseille. Au XIVe siècle, le rempart du village vient rejoindre les fortifications seigneuriales. Au XVe siècle, un premier bâtiment quadrangulaire, construit au sud du donjon, vient agrandir l'ensemble. La pièce aveugle à la base du donjon est transformée en citerne. Au milieu du XVIIe siècle, la puissante famille de Castellane agrandit les bâtiments en ajoutant les deux tours rondes et en développant l'aile Est sur trois niveaux. Jean-Baptiste de Castellane est le dernier occupant des lieux. Les de Castellane décideront d’en faire un château d’agrément qui leur servira pour des réceptions tandis qu'ils vivaient dans leur maison seigneuriale dans le village. Durant la Révolution française, le château est abandonné et déclaré carrière de pierres puis démantelé. Les pierres quant à elles seront vendues aux enchères[2].
L'ensemble de l'enceinte et des fortifications sont classées au titre des Monuments historiques en 1996 tandis que le sous-sol est un site archéologique. Un théâtre de plein air a été aménagé, permettant à la commune d’organiser des manifestations estivales[2].