Après la mort de GisonIV de Gudensberg le , il épouse l'année suivante sa veuve Cunégonde de Bilstein, son aînée d'une quinzaine d'années, qui se trouve être la belle-mère de son frère, Louis. Aucun enfant ne naît de ce mariage. Il obtient cette union avantageuse grâce à la proximité de sa famille avec l'empereur LothaireIII du Saint-Empire, qui permet aussi à son frère Louis d'accéder au landgraviat de Thuringe en 1131. Henri RaspeI avait aussi obtenu la fonction de porte-étendard impérial (latin: signifer regis), tenue jusqu'alors par le comte WernerIV de Grüningen († ) dont le comté de Maden constituait l'ébauche d'un futur Landgraviat de Hesse envisagé par GisonIV juste avant sa mort et que GisonV le beau-fils mineur de Henri ne pouvait occuper.
Cunégonde de Bilstein le laisse exercer la régence pour son fils GisonV dans ses domaines de Hesse et Henri est mentionné en 1130 comme «comte de Gudensberg » lorsqu'il est assassiné la même année et inhumé dans le monastère de Reinhardsbrunn. Grâce à l'union de Henri avec Cunégonde et à celle de son frère Louis avec Hedwige de Gudensberg, la fille de cette dernière, le comté de Gudensberg-Bilstein revient après la mort du fils de Cunégonde, GisonV en 1137 et celle de Cunégonde elle-même en 1138/1140 à la lignée de Thuringe ce qui permet aux Ludolwinges d'étendre leur sphère d'influence sur une grande partie de la Hesse historique.
