Le comte Henri de Castellane est issu d'une famille d'ancien lignage, la Maison de Castellane. Son père, le marquis et députéStanislas de Castellane, est le frère du comte Boniface de Castellane, bien connu à la Belle Époque, et sa mère, Natalia, est la sœur d'Emilio Terry. Henri de Castellane épouse le , doña Silvia Rodríguez de Rivas y Díaz de Erazo (1909-2001), fille de l'ambassadeur de Colombie en France, don Joaquín Rodríguez de Rivas y de la Gándara, 4e comte de Castilleja de Guzmán. De cette union sont issus trois enfants: Cordélia (1932) (épouse Semprún), Antoine (1934-2021) et Henri-Jean (1937-2018). Le comte de Castellane meurt prématurément en 1937 et sa jeune veuve se remarie avec le duc de Valençay, Boson de Talleyrand-Périgord (cousin issu de germain de feu son mari), frère du duc de Talleyrand-Périgord, qui s'était marié avec l'ex-épouse de Boni de Castellane, Anna Gould. Cependant le couple divorce pendant la guerre et Silvia Rodríguez de Rivas se remarie avec un aristocrate autrichien, Erich von Posch-Pastor (petit-fils du diplomate Ludwig von Pastor), en (d'où naîtront Barbara, épouse Hennessy, puis épouse Roche, puis épouse du «comte d'Évreux» et Silvita, épouse Gallienne). Devenue veuve, elle se marie avec Kilian Hennessy en 1963, de la dynastie vinicole Hennessy.
