John Betjeman, qui pendant un temps l'aimait, la qualifie dans son poème inédit, The Mitford Girls, de «la plus rurale de toutes», car elle préférait vivre tranquillement à la campagne. Ils se rencontrent alors qu'elle dirige Biddesden dans le Hampshire, la maison de son beau-frère, Bryan Guinness (2e baron Moyne)[1].
En 1936, elle épouse le physicien millionnaire Derek Jackson. Jackson est bisexuel [2],[3] et marié six fois. Ils vivent au château de Tullamaine à Fethard, dans le comté de Tipperary [4]. Après son divorce en 1951, elle passe le reste de sa vie en tant que compagne de Giuditta Tommasi (décédée en 1993), une cavalière italienne [5]. Elles vivent à Caudle Green, Gloucestershire [1]. Selon sa sœur Jessica, Pamela Mitford est devenue "une tu-sais-quoi-bian" (lesbienne) [6].