1376年ごろ、ドゥラッツォ公カルロの娘ジョヴァンナ・ディ・ドゥラッツォと結婚した。ロベール4世は1387年4月6日にサン＝ヴァレリーおよびオーとともにウー伯領を継承したが、当時ナポリにおり父の死を知らなかった。1387年7月20日、ジョヴァンナの妹でナポリ摂政マルゲリータの命により、ロベール4世と妃は卵城（Castel dell'Ovo）に滞在中に毒殺された。ロベール4世とジョヴァンナはナポリのサン・ロレンツォ・マッジョーレ教会に埋葬された。
ロベール4世とジョヴァンナの間には子供がいなかった。ウー伯位は弟のフィリップが継承した。
