小鴨氏は伯耆の諸家の中では一番歴史の長い一族であり、後の時代には国衙の在庁官人を務め、関ヶ原の戦いで没落するまで伯耆国東部に勢力を持っていた。小鴨主以前の小鴨氏はどのような一族であったのかは記録が無いため不明であるが、おそらくは相当以前から力を持っていた豪族であったと考えられる。
「小鴨家系図」によれば生没年不詳の小鴨主は天智天皇3年（665年）に「小鴨」号を賜り、従四位の位を授けられ、和歌所に加わることを認められた。また白鳳6年（677年?）、五節舞を始め、天武天皇14年（685年）には詩を作り始めたと記されている。
系図には続いて以後14代にわたっての子孫の名、号は不明であるとし、小鴨主9代の孫が宇多天皇の御世に神祇官になったことが記されている。