「栗の落穂」による縁起によれば、空海が薬師如来を本尊として創建し、はじめ東海山薬師寺と号した。
当地には親子4匹の鬼が住み、村人に害を及ぼすことが多く、地名の折野も古くは鬼野と記した。建永2年、浄土宗祖の法然が讃岐国配流を命じられた際、鬼は法然に教化されて前非を悔い、浄土に生まれ変わろうと投身した。そこで村人たちは鬼の遺骨を境内に埋葬し、現在の寺号へ改称し、地名も鬼の字を避けて折野と称するようになったという説がある（鳴門市史上）。
なお、当寺にまつわる鬼教化の伝承については、「法然上人絵伝」（七福絵伝）や「円光大師略伝」巻之下にも見える高僧伝承のひとつである。
江戸期には板野郡荘厳院（現在の地蔵寺）の末寺とされる（阿波志）。元禄15年から同16年に行われた本堂修理時に、鬼の骨と伝える獣骨が出土し、現在も寺宝として保存されている。
