Avant l'invasion normande, le domaine est détenu par Edwin, comte de Mercie. En 1071, la propriété passe à Sir Ralph de Paganell, dont le nom se reflète dans le nom actuel de la maison et du village[1].
En 1190, Fréthesant Paganel épouse sir Geoffrey de Luterel, et le domaine passe à la famille Luttrell, dont les armes figurent au-dessus de la porte d'entrée de la maison. Le domaine reste aux Luttrell jusqu'en 1406, puis passe par divers propriétaires avant d'entrer en possession de la Couronne sous le règne de Richard III[1].
Le noyau de l'édifice actuel date du XIVe siècle.
Il est acheté à la famille Gifford en 1605 par Sir Richard Hutton de Goldsborough Hall[2]. Le descendant de Hutton, le colonel Robert Byerley, de Byerley Turk, entame des négociations vers 1681 avec Sir Patience Warde, Lord Maire de Londres, pour acheter le domaine. L'achat est finalement signé en 1703 par son neveu, également appelé Patience Warde[3].
L'escalier principal date du XVIIe siècle et a été apporté à la maison de Palace Yard à Coventry au XIXe siècle[1].
Avec une richesse accrue, le manoir est largement remodelé au XIXe siècle et au début du XXe siècle par Julia Warde-Aldam, qui remodèle le manoir pour lui donner son aspect gothique actuel et ajoute une aile est ainsi qu'une guérite sur la route dans un style gothique[1],[4]. Pendant la Première Guerre mondiale, la maison est un hôpital militaire auxiliaire de Hooton Pagnell, avec Warde-Aldam comme commandant et matrone[5].
À la suite de la vente de plusieurs grandes propriétés pour faire face aux droits de succession, le domaine appartient désormais à une fiducie familiale. Mary Betty Norbury reçoit le domaine de Hooton Pagnell en cadeau de son père, le colonel William St Andrew Warde-Aldam, en 1952, et elle et son mari prennent le nom de Warde-Norbury par licence royale en 1958[6]. Il appartient maintenant à Mark Warde-Norbury et à son épouse Lucianne[1].