Avant la dissolution des monastères, le site appartient à l'abbaye de Leicester[2]. Il est ensuite vendu par la Couronne à Francis Cave, dont le petit-fils, Alexander Cave, le revend avant 1625 à Edward Villiers, demi-frère du duc de Buckingham.
La maison appartient à la fin du XVIIe siècle à John Edwyn, dont le petit-fils, également John, la reconstruit, mais incorpore certaines parties du manoir du XVIe siècle[1]. En 1770, sa fille Anna Edwyn épouse Andrew Burnaby, archidiacre de Leicester, et ainsi la propriété du domaine passe à la famille Burnaby. Les propriétaires ultérieurs sont Edwyn Burnaby, haut shérif du Leicestershire, son fils Edwyn Burnaby et son petit-fils Algernon Edwyn Burnaby. Baggrave Hall est la maison d'enfance de Caroline Louisa Burnaby, une arrière-grand-mère de la reine Élisabeth II. Peu de temps après la mort d'Algernon Burnaby en 1938[3], son fils et héritier Hugh Edwyn Burnaby vend le domaine[4]. Elle devient la maison de la famille Earle, qui la vend vers 1975[5].
La structure du bâtiment est gravement endommagée en 1988-1990 alors qu'il appartient à une société étrangère contrôlée par Asil Nadir, qui a acheté le domaine pour 3 millions de livres sterling. La maçonnerie est enlevée, les murs sont sapés et les murs intérieurs, les sols et les plafonds sont détruits. Le propriétaire actuel s'est engagé à réparer les dégâts dans la mesure du possible [6]. L'extérieur de la maison peut être vu à partir d'un sentier public qui relie South Croxton et Lowesby.