Lord Langford épouse Catherine Rowley, fille d'Hercules Langford Rowley, en 1768. Ils ont plusieurs enfants, dont le général Edward Pakenham. Leur fille Catherine (Kitty) épouse le duc de Wellington. Il est le propriétaire du Château de Tullynally dans le comté de Westmeath qu'il améliore systématiquement de son vivant. Langford est décédé en , à l'âge de 49 ans, et est remplacé dans la baronnie par son fils aîné Thomas, qui en 1794 a également succédé à sa grand-mère dans le comté de Longford. Son troisième fils est Sir Hercules Robert PakenhamCB, KCB, un lieutenant-général de l'armée britannique, colonel et aide de camp de Guillaume IV du Royaume-Uni.