元は中国大陸や朝鮮半島からの渡来人が錦部などを構成していたが、大宝律令制定後は大蔵省所管に織部司が設置され、挑文（あや）と呼ばれる技術職が置かれた。養老律令では挑文は挑文師と見習いである挑文生に分けられた。挑文は織部司の品部である染戸に属する織手を監督した。染戸の織手は織部司に勤務（上番）する一部を例外として個々の居住地において1人あたり1-2疋の製品を織部司に納める代わりに雑徭を免除された（場合によっては調も免除された）。平安時代に入ると品部が解体され、代わりに織部司に勤務（上番）する職人が定制化されてこれを織手（定員40名）と称した。彼らは京都の一郭に集住し、そこは「織部町」と称された。また、これとは別に内蔵寮・内匠寮や交易雑物を納める諸国の国衙にも織手が置かれていた。
平安時代中期以後には摂関家や院庁、寺社が寄人などの形で独自に織手を抱えるようになり、また織部司の衰退に伴って織部町や隣の大舎人町に住んでいた織手が内蔵寮御服所の支配下に入って織物生産で生計を立てるようになり、彼らによって大舎人座を結成した。大舎人座は後に西陣機業の中核となった。