10世紀に地子・加地子と称される請料を荘園領主に支払って荘園の田畠の耕作を請負った（請作した）田堵が「預作人」「寄作人」と称されたことに始まる。こうした「預作人」「寄作人」が作人とも呼ばれ、その耕作権は「作手」と称された。11世紀以後には荘園領主に対して耕作を請負った名主や作手所有者、そしてその名主や作手所有者に対して耕作を請負った小農民などを作人と称し、そこに付随した職（地位・権利）を作職（作人職）と呼んだ。また、国衙領などの公領においても請作によって作人が生み出され、検田帳などに登録されるようになった。
荘園領主から耕作を請負った名主が更に小農民に耕作を請負わせたように、作人が実際に耕作を行う必要性はなく、僧侶などの非農民層が耕作を請負って作人となり、小作に出して実際の耕作を行わせて自らは中間的な収益を受けることも行われていた。このような作人から耕作を請負った作人を下作人と称した。一方、請負上の作人は自らを領主として位置づけるようになるが、荘園領主や国衙は作人の土地所有権を否認して、あくまでも彼らを支配の対象とみなした。本来、耕作を行う筈であった請負上の作人が実際の耕作を行わなくなると、実際の耕作者としての作人（すなわち下作人）は社会的地位が低い小農民が占めるようになり、彼らの事を「小作人」とも称するようになった。