奈良時代、この地で夜に突然光り、地響きが発生した。その後35日間星神山の山頂が雲に覆われ、さらに山中に光る物があったため、不気味に感じた村民は陰陽師を呼び占ってもらうと、天から3つの星が落ちたと告げられた。そして、その3つの星を崇拝すればこの地が繁栄すると言われ、それを受けた村民が社を建ててその3つの星を祀ったのが起源とされている。本殿裏の巨石三体を由緒にある星とする説と本殿に隕石が収められているとする説がある。
また、真星の地名はこの話および神社に由来したものである。
名古屋他、各地に星神社があるが関係があるわけでなく、甕速日神(ミカハヤヒのカミ)を主祭神として祀るのは此処のみである。