大和朝廷時代には、阿宗神社の前身、北の宮(一の宮)岡ノ峯八幡が祀られた場所でもある。『地誌 播磨鑑』によると、「阿宗神社 広山の郷阿宗村にあり、古老曰わく、今の広山村の八幡がこれで、上代には立岡山にあった。祭神は阿宗親王を祭る由伝える。」とある。すなわち、文治5年(1190)正月、立岡山にあった社を内山城主塩津左衛門尉義経が、自分の領地広山村に遷座したのである(現在の阿宗神社の始まり)。岡ノ峯八幡跡地には、現在、天満宮が祀られている。
一方、広山の阿宗神社は、1355年、足利義詮(後の室町幕府二代将軍)が山名時氏討伐のために本営を置いた場所である。