『新撰姓氏録』左京諸藩上・漢に「出自漢高祖七世孫万徳使主也」、『新撰姓氏録』摂津国諸藩・高麗に「高麗国人万徳使主之後也」とあり、桑原史の祖は、前漢高祖の七世孫万徳使主もしくは高麗国人万徳使主（こまのくにひとまんとくのおみ）とする[1]。この二説は異なった人物を指すわけではなく、万徳使主が高麗から来朝したとの伝承に基づく[1]。すなわち、万徳使主はもと中国人で高麗に移住した漢人系帰化人であり、高麗に移住した漢人子孫の万徳使主が更に日本に帰化したものとみられる[3]。『日本書紀』は桑原邑の漢人（あやひと）は新羅の俘虜であるとし、ここから桑原史の祖は新羅の俘虜であるとする説もあるが、後に桑原直の氏姓を賜う際に自らの祖を高麗より来朝したと称していることなどから、その祖は新羅の俘虜ではなく、高麗より来朝した[1]。