一般に流布している系図によれば、度会氏の祖は天牟羅雲命（天児屋命または天御雲命の子）であると伝えられ、伊勢国造の後裔であるとされる[1]。異説として、伊勢神宮外宮の祭神である豊受大神が元は丹後国から伊勢に移ったとされることから、渡会氏も丹後から豊受大神と共に伊勢に移ってきたとする説もある[2]。古くから伊勢神宮外宮の禰宜を世襲し、鎌倉時代後期から南北朝時代にかけて、伊勢皇大神宮（内宮）と争い伊勢神道を唱えた。多くの家に分かれたが、禰宜を務められた家（重代家）は、檜垣家・松木家など6家のみであった。
