寺伝によれば天武天皇6年（677年）道昭の草庵が起こりで、道薬・行基と相承。
天平7年（735年）2月16日、行基が裏山の瑞光に気がつき、その地を掘ると栴檀香木の観音像が出現したのでこれを本尊とし、詔を得て伽藍を草創し、坊舎60余院となる。
弘仁5年（814年）と弘仁7年に嵯峨天皇よりそれぞれ綿百屯を施入している。
また『拾芥抄』には公家恒例御読経21カ寺に列している。
天正年中（1573年～1592年）に兵火に罹り、伽藍坊舎を失い、諸仏を草堂に安置した。
正保4年（1647年）僧楽順が観音の夢告を受けて再興。領主板倉周防守も梵鐘を寄附す。
- 行基山 当寺の西にある本尊出現の霊地で、愛宕山とも呼ばれる。山上に行基松と呼ばれた大きな松があったが、明治3年の暴風で倒れたという。
- 「佐井の清水」 寺名の由来となった「お香水」で、寺の北方にある地下水。当寺に水が乏しいので行基が祈祷で湧出したと伝え、江戸時代には境内に引かれて眼病の特効薬とされた。
- 五衰殿塔 御読経供養の塔という三重の石塔婆。
