「甲」「乙」などの表現は、現代日本における「A」「B」や「ア」「イ」などと同じように特定の固有名詞に代わって表現するための記号に相当し、現代において不特定の人あるいは無関係な第三者を指すために「Aさん」「Bさん」「Cさん」と表現するところを、中世日本では「甲人」「乙人」「丙人」といった表現したのである。
そこから、転じて正当な資格や権利を持たず、当該利害関係とは無関係な第三者として排除された人々を指すようになった。特に所領・所職を知行する正当な器量（資格・能力）を持たない人が売買譲与などによって知行することを非難する際に用いられた。例えば、将軍から恩地として与えられた御家人領が御家人役を負担する能力および義務（主従関係）を持たない者が知行した場合、それが公家や寺院であったとしても「非器の甲乙人」による知行であるとして禁止の対象となった。同様に神社の神領が各種の負担義務のない者が知行した場合、それが御家人であったとしても同様の理由によって非難の対象となった。
特に「凡下百姓」または「雑人」と称せられた一般庶民は、無条件で所領・所職を知行する正当な器量を持たない人々、すなわち「非器の甲乙人」の典型であるとされており、そのため鎌倉時代中期には“甲乙人”という言葉は転じて「甲乙人トハ凡下百姓等事也」（『沙汰未練書』）などのように一般庶民を指す呼称としても用いられた。その一方でこうした表現の普及は、庶民――特に商業資本が金銭の力を背景に所領・所職を手中に収めていこうとする現実に対する支配階級（知行・所領を与える側）の警戒感の反映でもあった。また、武士・侍身分においては、“甲乙人”と呼ばれることは自己の身分を否定される（＝庶民扱いされる）侮辱的行為と考えられるようになり、悪口の罪として告発の対象とされるようになっていった。