Les douves et l'île artificielle de Harvington remontent au XIIIe siècle, plus anciens que la majeure partie des constructions du XIVe siècle qui survit derrière une couche de briques[1]. Le bloc central de la maison est probablement le « solaire » d'un bâtiment typique à ossature de bois en forme de H[1].
Adam de Harvington (Herwynton), chancelier de l'Échiquier, y vit et, probablement, y meurt en [1]. Après sa mort, le domaine passe entre les mains du 11e comte de Warwick et, en 1529, est vendu à un riche avocat, Sir John Pakington[1].
Le petit-neveu de Sir John Pakington, Humphrey Pakington, hérite du domaine en 1578, qui transforme ce manoir avec les caractéristiques les plus connues aujourd'hui[1].
Bien que la taille de la maison soit grande de nos jours, elle ne représente actuellement qu'environ la moitié de sa taille d'origine car deux ailes supplémentaires ont été démolies vers 1700. Les raisons de la démolition restent inconnues, mais un indice de la taille de la maison est documenté en 1595, qui décrit la maison comme "Humphrey's Mansion House of Harvington"[1].
Humphrey est catholique à l'époque des dures lois pénales élisabéthaines contre le catholicisme en Angleterre. Humphrey est un récusant, ce qui signifie qu'il refuse de se conformer aux pratiques de l'Église d'Angleterre, comme assister au service religieux le dimanche, un refus extrêmement coûteux financièrement[1]. En 1585, il est illégal pour un prêtre catholique de mettre les pieds en Angleterre, ce qui incite Humphrey à construire de nombreux trous de prêtres (ou «caches de prêtres») dans le manoir pour la protection des prêtres ou des fidèles catholiques[1]. Ces trous de prêtre subsistent jusqu'à aujourd'hui. Plus particulièrement, certains d'entre eux sont l'œuvre du maître charpentier Nicolas Owen, un frère laïcjésuite[1].
Humphrey meurt en 1631 et laisse la maison à sa femme, Abigail, comme douaire. Quand Abigail meurt en 1657, elle laisse la maison à sa fille, Lady Mary Yate, décédée dans la maison en 1696 à l'âge de 85 ans[1], survivant à son fils et à son petit-fils[1]. Sa petite-fille, une autre Mary Yate, hérite de la maison. Mary est mariée à Sir Robert Throckmorton de Coughton Court dans le Warwickshire[1] le fils de Sir Francis Throckmorton. Sir Robert a peu d'intérêt pour Harvington Hall et démolit deux ailes[1]. Au XIXe et au début du XXe siècle, la plupart des meubles sont enlevés, laissant Harvington dans un état nu et délabré[1].
.svg){kind=small}
