康保2年（965年）3月、慈恵大師良源により開かれた。その際、右大臣藤原師輔の所領であった土地の寄進を受けたという。応永29年（1422年）の『木津荘検注帳』には、当寺の位置に「大師寺」との記載がある。戦国期まで広く信仰を集めていたが、元亀の兵乱のため廃絶寸前にまで至った。元禄7年（1694年）当地を領有していた越前鞠山藩の初代藩主酒井忠登により本堂と庫裡が再建され、今日に至っている。
本寺境内裏に「大師産湯池」と呼ばれる池がある。この池は、慈恵大師がお生まれになったとき突然水が湧き始めたといい、この故実をもって大泉寺と名付けられたと伝わる。
なお、藤原師輔が創建した「五處宮（伊勢大明神・春日四所明神）」を本寺の地主神とし境内に遷し祀っていたが、明治43年3月に大國主神社に合祀された。
