「大介」が用いられた現存最古の例は天徳2年12月10日（959年1月21日）に出された「橘元実伊賀国王滝杣施入状案」（『平安遺文』271号）に書かれた「大介藤原朝臣」（当時の伊賀守は藤原忠厚）という署名である。また、後世の編纂となるものの、『扶桑略記』承平6年（935年）6月条に紀淑仁が海賊退治の論功として伊与（伊予）大介に任じられた記事も存在する。
その由来については、古くは知行国制度において知行国主とは別に除目などの正規の手続で任ぜられた介を指したという説が行われていた[1]が、知行国制が成立したとされる11世紀以前より「大介」は任ぜられており矛盾が残る。そのため、近年では官位相当制の下で本来五位相当の官職である守に四位の者が任ぜられた場合に、地方官で唯一四位で任官された大宰大弐[2]の和訓「おほひすけ」を同音異字の「大介」に当てはめて、大宰大弐と同格であることや五位の国守との差異を強調したとする説が出されている[3]。