第2代リズバーン子爵は1721年に父の遺産を継承する前にもすでに散財しているという。彼は2度結婚しており、1人目の妻はアン・ベネット（Anne Bennet、1723年7月31日没、サー・ジョン・ベネット（英語版）の娘）だった[4]。ほかにも数人の愛人と関係をもったという。
1724年のクリスマス期にほかのジェントリとともにセヴァーン川の渓谷に滞在し、みんなで酒を飲んだ。そのさなか、第5代準男爵サー・ジョン・プリースが主催するコンサートに招待されると、リズバーン子爵の目はリチャード・ヒル大尉（Richard Hill）の娘ドロシー（Dorothy、1790年11月20日没[1]）にとまった。ジョン・プリースの妻は何か良からぬことが起きるのを恐れ、ドロシーとその姉妹をヘンブラス（Henblas）にあるヒルの自宅に送り返した。同日、ヒルはリズバーン子爵をヘンブラスに招き、酒を多量に飲むようすすめた。翌朝、リズバーン子爵は帰ろうとしたが、ドロシーに引き止められ、再び酒を飲んだ。ヒルは財産でも社会的地位でもリズバーン子爵よりはるかに低かったが、彼にドロシーと結婚するよう説得し、2人は1725年1月10日に結婚式を挙げた。
2人は最初は仲がよく、ドロシーは1727年に娘マレット（Malet）を出産した。しかし、リズバーン子爵は同年に庶民院議員に当選してロンドンに向かい、以降2年間ウェールズに帰らず、一方ドロシーとマレットはウェールズに残った。1729年、リズバーン子爵の元にドロシーがデイヴィッド・ロイド（David Lloyd、リズバーン子爵の地所差配人）との不倫を疑われているという手紙が届き、リズバーン子爵は姉妹レティシアと愛人のフィリップス氏（レティシアの召使）とともにモンゴメリーシャーを経由して帰省した。リズバーン子爵夫婦が数週間争った末、ドロシーは実家に戻ると決め、リズバーン子爵が彼女に馬を与えると彼女は娘を残して去った。リズバーン子爵は離婚を考えたが、当時の離婚は難しく、費用も極めて高かった。結局、2人は正式に離婚せず、以降面会することなかった。1733年にドロシーが息子エドワードを出産。エドワードの本当の父はロイドかエドワード・グリン（Edward Glynne）とされる。
リズバーン子爵は以降も愛人を囲み、ダブリンでアイルランド出身の愛人ローチ氏（Roach）に皿や貴重品を盗まれるとの事件があったほか、リズバーン子爵が「死去するまで妻のように一緒に住んだ」というアン・サヴェージ（Anne Savage）もおり、リズバーン子爵はアンとの間で庶子ジョンをもうけた。1740年5月に書いたリズバーン子爵の遺言状ではジョンの養育に500ポンドを残したほか、アイルランドにおける財産をアンに、グレートブリテンにおける財産を弟ウィルモットに与えた。また、非嫡出子の娘メアリーとジェーンには年季奉公に出すために10ポンドずつ与えた。嫡出子のマレットは保護者を務めるウィルモットの言うことをよく聞けば3,000ポンドを受け取れるとされたが、リズバーン子爵が1741年1月に書いた2通目の遺言状ではマレットへの贈与がなくなり（扶養の用意はほかにあったという）、アンはジョンの養育に800ポンドを受け取り、メアリーとジェーンは60ポンドずつ受け取り、ほかの品物は全てウィルモットが継承するとした。
リズバーン子爵が1741年1月15日に死去すると、ウィルモットは即座に遺産を受け取り、領地のテナントにドロシーとエドワードの主張を受け入れないよう通告した。これによりウィルモットとドロシーの間に訴訟がおこることになり、ドロシーはウィルモットからの支払いを受け取る権利を確認されたが、リズバーン子爵の地所は抵当に入れており、地所からの年収が1,000ポンドしかない状況でドロシーとマレットに金銭を支払うことは困難を極めた。ドロシーとエドワードはさらにリズバーン子爵位の継承権を求めて訴訟をおこしたが、裁判がはじめる直前の1754年に和解して、主張を取り下げる代償として年金を受け取ることにした。