社伝によれば、当初は允恭天皇の御代に坂合黒彦皇子が勧請し、更級山地の支嶺に鎮座していたが、仁和3年（887年）の震災により社地が崩落し、山麓に遷座したとされる。
『源平盛衰記』（養和元年に木曽義仲が「八幡社を伏拝み」とあるのは当社である事を否定できない）には「若宮」とあり[1]、中世まで若宮八幡宮と称した。
宝暦7年（1757年）に現在の社名となった。同9年（1759年）の松代藩書上では社領3石であった[2]。
また神仏分離令以前は別当寺として真言宗の若宮八幡神宮寺があった。
- 宝篋印塔 - 境内には永和2年（1378年）銘の古い石塔が残されている。後醍醐天皇の皇子宗良親王に決死の従軍を誓った在地の武士４５名が戦地に赴く前に自分達の墓とした逆襲塚とされる。昭和６３年に市の有形文化財に指定されている。
- 土塁跡 - 中世の城館跡を思わせる土塁跡が境内の北側と東側にある。南朝方武士団の拠点であった名残りかも知れない。
- 細形銅剣 - 江戸時代の文化年間に近くの箭塚遺跡から発掘され、この神社の社宝とされた。昭和63年（1988年）に市の有形文化財に指定された。北九州が中心とされていた銅器文化が近畿圏を遥かに超えた当地で出土していたことについて歴史学会から注目されていた。
- かつて存在していた若宮村・黒彦村・芝原村の3か村で氏子を構成していたとされる。この内の旧黒彦村については1,000軒もの非農耕者の大きな村落であったが戦国時代に度々の大洪水で流亡分散したと伝えられる。この黒彦と若宮の地名については神社の由来に関係する2人の皇子の事績に因むものと考えられている。
- 鳥居 - 現在は東側の千曲川に面して建てられているが、かつてそこは神社の裏側に当たっていた。古くからの戸倉宿と明治になって開湯した上山田温泉とを結ぶ渡し舟はあったが戸倉駅の開設によって大正橋が架橋されて表側とされるようになった。本来の参道は西方の山側から入っていて古来は八王子山万治峠越えをする道からの参詣であった。
- 洞窟 - 現在は塞がれているが境内南側から抜けて上山田側の明治新道に通じる地下通路があった。第二次大戦中に洞窟が掘られ軍需工場を設けて一応の完成を見たが、その翌日に終戦となった戦争遺跡と言われる。以後洞窟内に稲荷社が祀られたり、飲酒提供の店が営まれた時もあったが戦後２０年程で閉ざされたと伝わる。
- カタクリ祭り - 境内南面の北向き斜面にカタクリの群生地があり「みどりのサポート隊」が管理し観察会を続ける。３月末から４月の第１週辺りが花の見頃でカタクリ祭りが設定され親しまれている。
