夫である義平は平治元年（1159年）12月の平治の乱で敗れたのち、翌年1月に捕らえられて斬首され、義重の娘（祥寿姫）は未亡人となった。平治の乱から20年後の治承4年（1180年）8月、義平の異母弟源頼朝が挙兵した。関東の諸侯が頼朝の下に参集し、頼朝は勢力を拡大、急速に東国の支配者となったが、去就を迷っていた義重は源氏一門でありながら参陣が遅れ、12月になって鎌倉を訪れたため、頼朝の不興を買った。
『吾妻鏡』寿永元年（1182年）7月14日条によると、頼朝は右筆の伏見広綱に命じて、密かに兄の未亡人である祥寿姫に艶書を送っていた。当の義重の娘に全く受け入れる気配がなかったため、頼朝は父の義重に直接申し入れた。頼朝の妻であった北条政子の怒りを畏れた義重は、娘をすぐさま師六郎という者に嫁がせたことから、頼朝の勘気を被ったと伝わる。この事が頼朝による義重一族（後の新田氏）冷遇に繋がったとされている。
ちなみに、政子の嫉妬深さを物語る逸話として有名な「亀の前事件」は、この年の11月の事であるため、義重の判断は正しかったとも言える。
義重の娘のその後は不明だが、曹源寺の寺伝によれば、文治3年（1187年）に義重が祥寿姫の菩提寺として建立した六角堂が曹源寺の起源となったと伝えられており、父に先立って死去したものと見られる。