惟頼は、尾張国丹羽郡の郡司・良岑頼利の子に生まれる[2]。惟頼の子孫である良岑高成（上総守）は、良岑氏流前野氏の始祖・前野高長の父である。高成の娘で高長の妹にあたる人物は平忠盛の側室となり、平忠度を生んだとされている[2]。『寛政重修諸家譜』に、惟頼と父子関係が一致する、良岑頼利の子で良岑惟光の父として記される「椋橋下総介惟恒」とは官位が同じである。良岑氏は桓武天皇と百済永継の子である良岑安世を祖とする氏族[1][2] で、種別としては皇別に分類される。本貫は山城国で、後裔には児玉丹羽氏や良岑氏流前野氏などがある。この惟頼も良岑安世の子孫にあたる。