Benjamin Smith est l'un des cinq fils de William Smith, le célèbre député et abolitionniste [2]. William Smith voulait que son fils Benjamin épouse Mary Shore, la sœur de William Nightingale, maintenant un parent par mariage (elle épouse plus tard le frère de Benjamin, Samuel).
Sa maison est à Marylebone, Londres, mais en 1816, il hérite et achète une propriété près de Hastings : Brown's Farm près de Robertsbridge, avec une maison construite vers 1700 (existante), et Crowham Manor, Westfield. Bien que membre de la noblesse territoriale, Smith a des opinions radicales. Il est dissident, unitarien, partisan du libre-échange et bienfaiteur des pauvres. En 1826, il finance la construction d'une école pour les pauvres du centre-ville à Vincent Square, Westminster, et paie un sou par semaine pour les frais de chaque enfant, le même montant que celui payé par leurs parents [3].
Lors d'une visite à une sœur dans le Derbyshire en 1826, Benjamin rencontre Anne Longden. Elle est tombée enceinte de lui et il l'a emmenée dans un lodge loué à Whatlington, un petit village près de Battle, East Sussex. Là, elle a vécu comme "Mme Leigh", le nom de famille de ses amis sur l'île voisine de Wight. La naissance de leur premier enfant, Barbara (la future fondatrice du Girton College sous le nom de Barbara Bodichon), créé un scandale car le couple ne s'est pas marié; l'illégitimité portait à l'époque une lourde stigmatisation sociale. Il est venu de Brown's Farm pour leur rendre visite tous les jours, et dans les huit semaines, Anne est à nouveau enceinte. À la naissance de leur fils Benjamin, les quatre sont partis en Amérique pendant deux ans, période pendant laquelle un autre enfant a été conçu.
Après leur retour dans le Sussex, ils vivent ouvertement ensemble à Brown's Farm et ont deux autres enfants. Après la naissance de leur dernier enfant en 1833, Anne est tombée malade de la tuberculose et Smith a loué le 9 Pelham Crescent, qui faisait face à la mer à Hastings; les propriétés saines de l'air marin étaient très appréciées à l'époque. Une femme du coin, Hannah Walker, est employée pour s'occuper des enfants. Anne n'a pas récupéré, alors Smith l'a emmenée à Ryde, île de Wight, où elle est décédée en 1834.
