元は仏教用語で「世の愚かな人たち」「世の人」（『往生要集』）などを指す語として用いられていた。これが一般社会においては官位を持たない無位の人々（白丁）の意味で使われた。後に武士（侍）が力を持ち始めると、武士の身分と官位には関連性が無かったために武士の中には有位の者も無位の者もいた。そのため、無位を含めた武士層と対置する無位の庶民に対する身分呼称として雑人とともに凡下が用いられるようになった。なお、雑人・凡下と呼ばれる人々には、「百姓」の範疇には含まれていなかった下人身分をも含んでいる。
鎌倉幕府は御家人及び非御家人を「侍」とし、郎党・郎従をはじめ名主・農民・商人・職人・下人などを一括して「凡下」と呼び、幕府の職員でも雑色以下の者は凡下として扱われた（なお、有力武士の郎党・郎従の中でも官位を持つ者は例外的に「侍」として扱われることになっていた）。鎌倉幕府は凡下が御家人になること、御家人の所領・所職を得ることを固く禁じ、凡下に対しては服装を厳しく規制し、検断沙汰においては拷問や身体刑も許容されていた（御家人に対しては原則として財産刑が行われた）。もっとも、朝廷における身分秩序と幕府における身分秩序が一致せず、更に鎌倉時代末期には経済的変動によって御家人の没落と凡下の台頭が発生しやすくなるなど、支配階層による凡下の統制は困難であった。