瑞岸寺に隣接する。
飛騨国式外社十社の一つの「正六位上加茂若宮神社従五位下」と推測される。
創建時期は不詳。
江馬輝経が高原諏訪城を築城したさい、加茂若宮神社は鬼門に位置していたことから城の守護神とする。寛喜二年（1230年）江馬朝方（江馬輝経の子）により、上下の社殿、山ノ神祠、床浦祠を合祀し、現在地に移転。その後戦乱で荒廃したが、天正十四年（1586年）に金森長近の家臣、山田小十郎（神岡城城代）により再興する。
1871年（明治4年）に村社となる。1917年（大正6年）に諏訪神社、白山神社、天満神社などを合祀。同年、郷社となる。
1948年（昭和23年）に岐阜県神社庁より銀幣社の指定を受ける。
