承明元年（476年）頃、勅許により建立された仏教寺院内に隷属する奴婢のうち、官民から重罪を犯した奴婢を請い受けた奴婢を、寺院の清掃などの雑役や、寺が有する荘園の耕作などに従事させ始めたのが、仏図戸の起こりである。
それ以前、446年に第3代太武帝が廃仏を断行して、領内の仏教教団に弾圧を加えた。帝の崩御後、452年に文成帝が即位すると、復仏の詔が発せられ、急速に仏教の復興が進んだ。
曇曜が復興後第2代の沙門統に任ぜられたのは、460年頃のことである。曇曜は、造寺や造像などの大規模な仏教復興事業を推進したが、中でも、巨大な雲崗石窟の開削造営は、その白眉である。その時に造営された石窟は、特に曇曜五窟と呼ばれ、歴代の皇帝を模した大仏は、国家的な北魏仏教の象徴的存在となっている。
当然、このような大事業を推進するためには、経済的基盤が必要であり、そのために創設されたのが、仏図戸・僧祇戸（僧祇粟）の制度である。平斉戸を初めとする僧祇戸から得られた僧祇粟を原資とし、貧民へと貸し付けた利殖による財貨と、仏図戸の労働力とが、それらの事業の基盤となった。
仏図戸となった者は、死刑囚あるいは重罪犯であったり、官の奴隷であったので、僧侶の監督の下で仏教教団に奉仕することは、自己の救済に繋がるものとして教化されたであろうし、その中には、自ら出家して僧となる者も現われた。一種、仏教を基本に置いた社会事業的な性格を持った制度であった。
僧祇戸とともに、仏図戸は、孝文帝時代前後の北魏朝の篤心な仏教復興政策の一環として仏教側から献策されたものであり、農業の振興や生産の増強、民心安定のためにも作用した。やがて、北魏末に及ぶと、都の洛陽を中心とした、その空前の教団の繁栄に寄与すること大であった。その反面、弊害も露見し始め、寺院の大規模地主化を助長することとなった。更に、この風は、北朝のみにとどまらず、唐・宋代の寺院の大土地所有の源流となった。