『尊卑分脈』の系図によると母は平忠盛の娘とされているが、年代的に考えてこれは誤りであり、平正盛の娘、すなわち忠盛の姉妹が正しいと思われる。いずれにせよこれは、義忠と伊勢平氏一族の繋がりを暗示する記述であり、後世治承・寿永の乱において、義忠の子孫の一部が平家方に与したことの遠因の一つとして考えられている。また、平清盛（忠盛の子）の「清」の一字は、義清が烏帽子親となったことに由来するともいい、清盛の父・忠盛の「忠」の一字も、義清の父・義忠が烏帽子親であったことに由来し、忠盛、清盛親子と、義忠、義清親子の親密さを伝えている。
右衛門尉、兵庫助などを歴任した。子に従五位下左衛門尉、因幡介となった源義久がいる。義久には一子があり、従五位下宮内少輔源義高がそれである。
