就任から1年後、彼が愛人に宛てて書いた手紙を彼の妻が新聞社に持ち込み、彼の不倫行為が新聞紙上で暴露された。ある手紙は夫婦での市外旅行中に書かれたもので、「この年老いた不細工ババアではなく、君が一緒ならよかったんだが」(I wish you could have been along, instead of the Old Haybag)などと述べられていた[7]。この手紙の文中の「不細工ババア」(Old Haybag)という言葉が注目され、マスコミからは「ヘイバック・レター」(The Haybag Letters)と呼ばれた[3]。
「ヘイバック・レター」事件の後、妻エルシー(Elsie)からは3度離婚の訴えが起こされ、辞職から数年後の1921年になって正式に離婚が成立した。エルシーとの間に儲けた息子チャールズ・L・セバスチャン(Charles L. Sebastian)は外科医で、警察の受け入れ先に指定されていた病院に勤務していた[3]。
晩年は愛人のプラットと共にヴェニスビーチの海沿いの家でほとんどを過ごした[3]。脳卒中を起こした後にはプラットが彼の車椅子を押していたのを目撃されている[6]。やがて患った肺炎が悪化し、医者だった息子の献身も虚しく[3]、セバスチャンは1929年4月17日に死去した[8]。遺体はカリフォルニア州シルマーのグレン・ヘブン記念墓地(Glen Haven Memorial Park)にて埋葬された[8]。