Le domaine est la propriété de la famille Kelly depuis environ 1100. Certaines parties de la maison médiévale d'origine et de la grande salle sont toujours debout, bien qu'elles soient cachées, car cette partie de la maison a été considérablement remodelée dans le style architectural Tudor. En 1742, l'aile ouest du bâtiment est construite dans le style architectural géorgien et entourée d'un parc [1]. L'aile nord la plus récente de Kelly House est construite en 1877. Au cours du XXesiècle, des parties du domaine sont vendues et la maison s'est dégradée.
Une description de la vie dans la maison et le village pendant la première guerre mondiale a été rédigée sous forme de journal par Margaret Kelly, la maîtresse de maison à l'époque. Il comprend des détails sur le fonctionnement de la maison. Après la guerre, Mary Kelly fonde la Village Drama Society, qui est basée à Kelly House de 1919 à 1925 environ [2]. Kelly House continue d'être habitée par des membres de la famille Kelly tout en ouvrant certaines chambres en chambre d'hôtes[3].
La maison est ajoutée au registre du patrimoine en péril en raison de préoccupations notamment concernant le toit qui fuit [4]. Certaines parties de la maison sont restaurées, des étudiants du Kelly College aidant aux travaux. Ces parties de la maison sont ouvertes au public par le biais de visites guidées[5], et depuis 2013, la maison propose trois chambres en chambres d'hôtes [6].
En , Kelly House a fait l'objet d'une émission télévisée sur Channel 4 présentée par l'hôtelière Ruth Watson dans le cadre de sa série Country House Rescue[7].