Le manoir élisabéthain / jacobéen prédécesseur sur le site s'appelait East Borne ou Borne Place et est le siège de Sir William Wilson, 1er baronnet (vers 1608-1685) [3]. Le locataire de 1714 est Spencer Compton, trésorier de George, prince de Galles. En 1724, Compton aime suffisamment l'endroit pour acheter la maison et le domaine et les renommer Compton Place; le prince de Galles est le principal mécène de Colen Campbell, et il est naturel que Spencer Compton se tourne vers lui pour sa conception.
Le plan en E, dont la rangée centrale a été doublée en profondeur au XVIIe siècle, est conservé. Campbell présente un plan pour l'élévation sud, qui est modifié dans l'exécution, mais il est principalement impliqué dans la refonte des intérieurs, où sa présence est commémorée avec son buste en stuc dans le soffite de la baie vitrée à l'extrémité sud de la galerie, qui est la seule image contemporaine survivante de l'architecte écossais ; le plâtre est associé aux "trois Allemands" auxquels il est fait allusion dans la correspondance du jardinier de Lord Wilmington, William Stuart, dont l'un aurait été le concepteur de Stuc anglo-danois Charles Stanley [4]. Le plâtrier londonien John Hughes supervise les travaux de plâtrerie. La sculpture dans la maison est réalisée par le sculpteur londonien John Richards [5].
L'ouverture de l'extrémité sud de la galerie est une chambre d'apparat avec des alcôves. Des gravures de l'alcôve et du plafond compartimenté de la chambre Est (appelée plus tard la « chambre de la duchesse ») apparaissent dans Campbells Five Orders. La chambre du duc, l'un des exemples les plus opulents d'Angleterre [6], a un relief en stuc suivant la Vénus et Adonis de Titien ; il y a de plus petits panneaux en relief en stuc de Paris avec Hélène et Diane avec Endymion.
Sir Spencer est créé comte de Wilmington en 1728. À sa mort en 1743, Compton Place passe à son neveu le 5e comte de Northampton. Il passe ensuite par mariage en 1759 à George Cavendish (1er comte de Burlington). Il rénove le bâtiment en 1806 et l'extérieur en brique et silex est recouvert de stuc et de composition et un péristyle dorique est ajouté à la baie vitrée [7]. Le domaine est transmis à son petit-fils, le 7e duc de Devonshire, qui, à partir de 1859, aménage la nouvelle ville d'Eastbourne sur la moitié sud du domaine [8]. Plus récemment, le parc au nord et à l'est de la maison est aménagé dans les terrains de golf du Royal Eastbourne Golf Club, (fondé en 1887), dont le premier président est William Cavendish, 7e duc de Devonshire, et les ducs continuent d'être présidents ; les deux terrains de golf portent le nom du duc de Devonshire et de son fils aîné, le marquis de Hartington [9].
En 1954, dans le cadre du paiement par le 11e duc des droits de succession de 80% prélevés sur la succession de son père, la maison est louée à une école de langues.