天仁2年（1109年）、河内源氏の棟梁であり、従兄弟でもある源義忠が暗殺されるという事件（源義忠暗殺事件）が発生した。犯人は美濃源氏の源重実とされ、義明と義明の乳母夫で滝口武者である藤原季方が共犯と目されて朝廷から嫌疑を受けた。季方邸に籠る義明と季方は白河院の命を受けた検非違使源重時による追捕を受け殺害された。なお、重時は義明追捕の際の不手際から処分されている。
義綱はこれに怒り、近江国甲賀山（鹿深山）へ立て籠もるという行動をとったが、朝廷からの命令を受けた美濃源氏の源光国と棟梁を継いだ義忠の甥（弟とする説もある）為義に追討され、義綱は為義に降伏。勝手に出京した罪で佐渡国に流された。
