Aunque nunca fue un castillo, la mansión estuvo protegida por murallas desde 1195, cuando Richard Vernon recibió el permiso para construirlas. El origen de las murallas data del siglo XI. William Peverel, hijo ilegítimo de Guillermo el Conquistador, había obtenido el título del señorío de Haddon en 1087, como resultado de la encuesta que dio lugar al Domesday Book.
El IX Conde, cuando le nombraron Duque en 1703, se mudó al Castillo de Belvoir, y sus herederos usaron la mansión muy poco, por lo que esta conservó sin grandes modificaciones su condición apenas alterada desde el siglo XVI, cuando se celebró en 1567 la boda de Dorothy hija de Sir George Vernon con Thomas Manners, I conde de Rutland. Sir George no aprobó esa unión, describiendo al pretendiente de su hija como "el segundo hijo de un conde improvisado". Además, los Manners eran protestantes, y los Vernon católicos. Según la leyenda, la joven Dorothy se había fugado con él durante la fiesta de boda de su hermana mayor. Sin embargo, años más tarde se reconciliaron con Sir George, y la pareja heredó la mansión.
En la década de 1920, el IX Duque se dio cuenta de su importancia y empezó una minuciosa restauración, con su arquitecto Harold Brakspear. El Haddon Hall actual medieval y Tudor, incluye pequeñas partes de la estructura original del siglo XI, pero la mayoría incluyen cámaras adicionales añadidas por las sucesivas generaciones de las familias Peverel, Avenel, Vernon y Manners. La mayor parte de la construcción se llevó a cabo en varias etapas entre los siglos XIII y XVII. El comedor principal y las cocinas datan de 1370 y la Capilla de San Nicolás fue completada en 1427. Hay una larga galería del siglo XVI.
El IX Duque creó el jardín topiario adyacente a los establos de la casa de campo, con los símbolos heráldicos y emblemas de las familias Vernon y Manners: el jabalí y el pavo real.
