治承4年（1180年）11月21日、諸国の源氏の旗上に同調して、兄の山本義経と近江国の勢多・野路で挙兵。義経と義兼は琵琶湖をおさえて北陸道からの年貢を止め、水軍をもって三井寺に討ち入り、寺々に押し入った。九条兼実の『玉葉』は、義兼は左右なく（京へ？）打ち入ろうと欲するが、甲斐源氏が使者を送って、無勢で攻め寄せても追い返される恐れがあるので、援軍が到着するまで暫く攻撃を止めさせているという伝聞を記している。
12月1日、平氏方の平家継（平田入道）が近江へ攻め込み、源氏方の手嶋冠者を討ち、更に義兼の居城を落とした。美濃源氏の軍勢が義経・義兼の援軍に到着するが、12月5日に平知盛を大将軍とする追討使に追い散らされる。義経・義兼は三井寺に拠るが、平氏軍がこれを攻めて落とす。義経・義兼は逃れて山本城に籠るが、12月15日に知盛・資盛の軍勢に攻められて落城。『玉葉』は討ち取られた首級に義兼の首があったとの噂を伝えるが、これは誤報であったと訂正している。
この後、兄の義経は落ち延びて、鎌倉の源頼朝を頼っている。
『源平盛衰記』によると、寿永2年（1183年）義兼は源義仲の軍に加わり、信濃国、加賀国の住人と先陣の大将として越前国へ攻め込み、燧城を構えて立て籠もっている。
義仲が平氏を逐って入京すると、義兼は兄の義経と京の警護に任じられた（『吉記』『源平盛衰記』）。
以後の消息は不明。