この神社の創建について、次のような伝承がある。平安時代末期、琵琶の名人であった藤原師長は唐に渡って琵琶の奥義を極めたいと思い、都を出て、須磨まで来た。その夜、村上天皇と梨壺女御の霊が現れ琵琶の奥義を伝えたので、師長は入唐を思いとどまり、名器「獅子丸」を埋めて都に帰った。この伝承を題材として能の「絃上」（玄象）が作られた。この伝承に基づき、土地の人が村上天皇を祀ったのが当社であると伝えられる。
師長が琵琶を埋めたという琵琶塚は前方後円墳で、現在は一部面影をのこすものの山陽電鉄本線の線路によって二分されている。
