源義親の長男として生まれるが、義親が西国で乱行を起こしたため、家督は異母弟の為義が叔父の義忠の養子となって継承した[1]。義親の正室は肥後守・高階基実の娘であるが、義父の基実は義親の乱行により肥後守を罷免され、贖銅の刑を科された。角田文衛は、義信（長男）・義俊（次男）・義泰（三男）・義行（五男）がそれぞれ対馬太郎・対馬次郎・対馬三郎・対馬四郎の呼び名を持つことから、この4人が正室所生の同母兄弟で、為義は庶子だったのではないかと推測している[2]。
義信に武士として目立った活動は見られないが、官途は為義より高く最終的に従四位下左兵衛佐となっている。なお、為義を河内源氏の棟梁とする概念が生まれるのは源頼朝が鎌倉幕府を開く前後からであり、当時は源氏各系統の上に立つ「嫡流」というものは存在しなかったという見解もある[3]。一方で、為義が義親の四男にも関わらず兄たちを差し置いて叔父義忠の後継者に擬せられた理由として、3人の兄がいずれも「対馬」を称しているのに対して為義にはその呼称がないことから、3人の兄は父義親に随行して対馬に赴き事件に連座し、京に残って祖父義家夫妻が養育した為義が嫡男になったとする説もある[4]。為義の兄の子孫の名は『尊卑分脈』に多数見えるものの、義信の子で松尾の最福寺を開いた僧延朗以外は活動の痕跡が見えず、父の滅亡とともに没落した可能性が高いとする見解もある[4]。
また、為義は義信の弟ではなく叔父であるとする説もある[5]。一方で、為義が義家の子だったとすれば、なぜ『尊卑分脈』がことさらに謀反人となった義親の四男としたのか説明がつかないと疑問を呈する見解もある[4]。