La maison est connue pour avoir été agrandie et remodelée vers 1800 par Francis Sandys pour Robert Sparrow[1]. Le bâtiment d'origine a peut-être été construit par John Felton, décédé en 1703, datant potentiellement du bâtiment du XVIIe siècle[1]. Il est construit sur deux étages en brique et stuc, avec une façade à 7 travées. À gauche du bloc principal se trouve à l'origine une orangerie, aujourd'hui convertie à d'autres usages. L'intérieur comprend un hall d'escalier octogonal avec un escalier de séparation impérial en pierre doté d'une balustrade en fer forgé et d'une main courante en acajou[1].
Le manoir de Worlingham est acheté à la famille Duke au XVIIe siècle par John Felton, le fils de John Felton, de Playford. Les Duke en sont propriétaires depuis plusieurs générations. La fille unique de Felton, Elizabeth, épouse John Playters, de Sotterley, qui vend Worlingham à Thomas Robinson. Il meurt sans héritier en 1743 et le manoir est finalement vendu à Robert Sparrow en 1755. La petite-fille de Sparrow, Mary, qui épouse le pair irlandais Archibald Acheson, 2e comte de Gosford en 1805, hérite plus tard de la propriété[2]. Le comte est gouverneur général du Canada de 1835 à 1838[3].
Le domaine est vendu aux enchères par le 3e comte en août 1849 et passe ensuite entre plusieurs mains avant d'être progressivement morcelé et vendu. La maison elle-même tombe dans un état de délabrement. Elle est achetée en 1962, dans seulement 20 acres de terrain, par le vicomte Colville, qui entreprend la restauration de l'édifice. En 2010, il est proposé à la vente pour environ 4 millions de livres sterling[4].