古墳時代の自然崇拝からはじまる[2]。
天平13年(741年)、行基が狗留孫山で修行し、現在奥の院に安置されている観音菩薩像は行基の作と伝えられている[2]。
大同元年(806年)に空海が唐留学から帰国する際に船上から狗留孫山の「霊光」に遭遇し、翌年に登山して「霊光」の中に見た十一面観音を自ら彫って本尊としたと伝わる[2]。
仁安3年(1168年)に栄西が登山して空海同様「霊光」を目にするととも寺院を建てよという「霊告」を受け、建久2年(1191年)
に伽藍を造営して「狗留孫山国護院観世音寺」と命名した[2]。
江戸時代には毛利氏の祈願所として保護され、毛利元義が揮毫した山号額が現存する[2]。