奈良時代の天平年間(729年~749年)に行基によって創建されたとされ、当時は八鹿山薬師寺と称した。戦国時代に再興され現在の山寺号となったとされる。再興後、江戸時代から明治時代までの度重なる火災により、古建築と文化財の大半を焼失した。巨大建築で知られる現在の堂塔伽藍及び大仏は、相互タクシー創業者の多田清の寄進により、平成時代初頭に落成し、平成6年(1994年)に開眼供養が行われた。大仏殿には釈迦如来、薬師如来、阿弥陀如来の木造大仏3体が安置されているが、中央の釈迦如来像は他の2体よりも大きく、木造座像としては世界最大の高さとされている。