Il épouse Frances, fille de Thomas Manners et se remarie à Elizabeth, fille de Stephen Darell, de Spelmonden, Kent (elle s'est remariée à William Sedley, de Southfleet, Kent); de sa première femme, il a une fille unique, Mary Neville, qui épouse Thomas Fane (mort en 1589)(en).
Au cours de la rébellion de Wyatt de janvier à , Henry et Robert Southwell, le haut shérif du Kent marié à la nièce d'Henry, Margaret, mènent les forces loyalistes contre les rebelles.
Sa fille, Mary Neville, baronne le Despencer, décédée le , âgée de 72 ans, inhumée à Mereworth, Kent, s'est mariée à Birling, le , en seconde épouse, à Thomas Fane, de Badsell, Kent [1] Son fils, Francis, est créé comte de Westmorland, fait chevalier au château de Douvres, , décédé le .
Lady Fane réclame la baronnie d'Abergavenny contre Edward Nevill, l'héritier mâle qui hérite du château d'Abergavenny, et comme compromis, elle est par lettres patentes, , confirmée dans le nom, le style et la dignité de La baronne le Despencer, pour les héritiers de son corps, avec l'antique siège, place et préséance de ses ancêtres.
