創建年は不詳。神武天皇を祀る神社としては、1890年（明治23年）に創建された奈良県の橿原神宮がよく知られているが、当社はそれよりも古い1841年（天保12年）の棟札が残っているほか、境内の小祠には、1751年（寛延4年）の年号が刻まれた石碑がある。
1899年（明治32年）、峯で大爆発の音響とともに山崩れが起り、神社が谷の中に埋もれてしまったが、村民が掘り出し再建された。
四国八十八ヶ所霊場の法輪寺も、元々はこの樫原神社の摂寺として創建されたという説がある。祭神の神倭伊波礼彦（神武天皇）に関しては、最近になって言われだしたようで地元でも疑問の声がある。
