鳥屋尾氏は藤原北家御神本流の一つ三隅氏の支流を称している。南北朝時代、石見国における南朝総大将であった三隅家四代にあたる三隅兼連が鳥屋尾山（この地で「とやごう」と呼ぶ）に城を築き、三男（二男説あり）の兼雄を配置した。兼雄が鳥屋尾氏の初代である。三隅兼連は弟・兼冬が築いた井村城の主も兼任していたために、子の一人の兼時を井村兼武の養子とした。井村兼時は鳥屋尾氏の家督を継ぎ同氏2代目に数えられる。
兼雄の長女は石見国司・日野邦光の室となり、良妻賢母の誉れもあって四位の位を与えられた。その事から「四位の御局」と呼ばれた。彼女の娘の阿佐殿は、三浦氏出身の兼雄の室に石見黒沢村麻ヶ迫の屋敷で大切に育てられた後吉野の祖父・日野邦光を頼りに同地に赴き、後亀山天皇に入内し、中宮となるという三隅氏では異例の出世をした。入内後には後亀山天皇との間に小倉宮を生んだ。小倉宮の子は万寿寺宮と呼ばれた。これにより兼雄は四位の御局の父にして、日野氏の外戚であり、同時に中宮阿佐殿の祖父となった。これにより三隅氏の繁栄は頂点に達する。史書には「石見から出したるこの賢女の誇りは、また永く滅せざるべし」とあり、四位の御局の所領は今の島根県那賀郡雲城村大字七条字御局給と、同郡岡見村御局田にあり、史書によれば「黒沢村の椎の森と、井野村 鳥屋尾城の麓に椎を植えて、永く四位の御局の記念とせり」とある。
石見における南朝勢力が衰えると、鳥屋尾氏は、石見を離れ南朝勢力の盟主的存在であった北畠氏に仕えたと考えられる。北畠氏は後に戦国時代には国司として伊勢に赴き、戦国大名化するが、その家臣団にも鳥屋尾氏は名を連ねて「石見守」を名乗っている。
応永7年（1400年）の足利義満による南北朝合一後も更に鳥屋尾氏は南朝（後南朝）方に組みし、兼雄の孫の正時と曾孫・正武は後亀山天皇の皇孫万寿寺宮を奉じて、吉野朝廷を仕えた。正武は大内義弘が足利義満に背いて堺浦で戦った応永の乱の時も大内氏を援けたが、敗れて美濃国に走り浪死した。正武の子・正義は潜竜院（後小倉宮）を奉って山名方に加わり、応仁の乱後、潜竜院を供奉して、石見国七条御局給籠院谷（金城町）に匿った。潜竜院はしばらく同地に留まったが、ほどなく離れ邑智郡矢上・中野口羽などを放浪し、遂に備後国の香淀にて死去した。
南北統一後、持明院統による両統更立の説を拒み、尚も大覚寺統を奉じた鳥屋尾正武・正義らは三隅家の系図より省かれた。しかし父子の、義理堅い人物像は今も文献によって伝わっている。
また楠木氏にも同じ名が登場される。（正時、正義、正信）同一人物か不明だが系図には正輝（正義ひ孫）時、明覺寺建立とある。