Henry et Hannah Jean Grey ont une fille, Hannah Jane Thompson (1829–1899), née à Ryde, île de Wight, mais sa femme meurt peu après l'accouchement. Sa fille épouse Henry Thomas Murdoch Kirby, vicaire de Mayfield, Sussex, en 1847 à Frant, Sussex. L'un de leurs douze enfants est l'amiral Francis George Kirby (1854-1951), capitaine du HMSPhaeton.
En , Henry épouse Mlle Emily Frances Anne Leeke, fille de Ralph Leeke de Longford Hall, Shifnal, Shropshire, à Brighton. Ils ont des enfants, Frances Anna (née en 1837), Henry Charles (née en 1843), Ralph Harvey (1846–1846) et Caroline Eleanor (1848–1900).
Henry est, au cours de sa vie, vicaire responsable de l'église Holy Trinity, Bembridge, île de Wight; recteur de l'église de Holy Trinity, Fareham, Hampshire (dont il finance le bâtiment avec sa mère, Lady Jane Thompson), et en 1845, il reçoit Frant, dans Sussex, par le comte d'Abergavenny. Il meurt à Chichester en 1868 et est enterré à l'église Holy Trinity, Fareham.
Sans fils survivants, le titre de baronnet s'éteint à sa mort en 1868.