天保4年12月28日（1834年2月6日）、大和国宇陀郡向渕村（現奈良県宇陀市室生向渕）にて飯降家の四男として生まれた。幼名は亀松。彼の父親は村の庄屋を務めていたが、彼が8歳のとき村の金を無断で使い込んだ嫌疑をかけられ、その地位を追われた（その後無実であったことが判明している）。その後伊蔵は14歳のころから村で大工としての修行を始め、22歳のころ独立して櫟本（現天理市櫟本町）に出て身を立てた。その後まもなく世話する人があって近くの村の女と結婚するが、彼女は初産後まもなく死去し、その際に生まれた子も2歳で急逝した。その後はまた近くの村の別の女と結婚するが、その女は博打好きで、当時近所の住民から正直者の気質で知られていた伊蔵とは馬が合わず短期間で離縁に至った。
その後は「さと」という女性と3度目の結婚を果たし、生涯のつれあいとなったが、元治元年（1864年）、さとの産後の患いのときに天理教教祖中山みきのもとを訪ね親神天理王命の話を聞き命を助けてもらった事を機に天理教信仰の道に入った。
それ以降彼は櫟本から教祖の所へ毎日通い、その間には教祖から、願い人からの相談事などがあった時に扇を持って願いを聞き、指図を出す「扇のさづけ・言上のゆるし」を頂き、「おつとめ」を行う建物の建設に苦心を重ね、世間の迫害が強まる中教祖を支え働いた。
明治15年（1882年）には一家そろって中山家に住み込み、みきが死去した明治20年（1887年）からは「本席」という地位につき、明治40年（1907年）に73歳で死去するまでの約20年間に渡り教祖みきに変わって信者たちに神の言葉を伝え、初代真柱中山眞之亮と共に二頭体制のもとで天理教の教勢を拡大させていった。
晩年、彼は自分の死後に教示を伝える人間が必要に思い、上田ナライトという女性信者を二代目本席にしようと考えていたが、彼女は病気等の理由からその役目を全うすることが出来ず、次第に教団内での影響力を弱めていった。ナライトが中心から離れていったことから、「真柱」・「本席」の二頭体制は終わった。
