武蔵七党の流れを汲む一族とされるが、どの系統かは諸説ある。『武蔵武士』では武蔵七党の一つ横山党庶流とする。目黒区が友好都市とする角田市にある目黒家が保有する『目黒系図』では、藤原氏から出たとし児玉党の同族といい、目黒家資を祖としている。また『新編会津風土記稿』にある会津の目黒氏は、桓武平氏秩父氏の一族で平姓畠山氏の末裔目黒光重が先祖とする。また『会津柳津目黒系図』によれば畠山重忠の孫・小太郎重行が目黒を称したという。はっきりとした確証は無いが、この説の中では勢力関係から推測して横山党庶流説が最も妥当とされる（『目黒区史』）。また、児玉党子孫と畠山重忠後裔の二流は別系統とする見解も存在する（『姓氏苗字事典』）。
その系譜は確証に値するものが無く不詳。『吾妻鏡』に出てくる弥五郎や太郎の系譜関係も不明である。『武蔵武士』では横山党の横山資兼の孫・弥五郎をこの目黒弥五郎と推定しているが、根拠は無い。
2017年現在の目黒学院中学校・高等学校本館の所に居館があったという（『日本城郭大系』第5巻）。
