南昌山と東根山、これに赤林山をあわせて「志波三山」と呼ばれた（赤林山ではなく箱ヶ森とする説もある）[1]。
山名の由来は、崩れかけた地肌が赤く見えたため名に「赤」がついたという説や、アイヌ語の「アカ」が山の尾根を示すなど諸説がある。また、赤林村（現・矢巾町赤林）では赤林山を含めこのあたりの山域を西山（にしやま）と呼んだとされる。
矢巾温泉のすぐ手前の公園が登山口であり、頂上まで約2時間で登頂できる。頂上は樹幹に囲まれた広場であり、展望は効かない。
中新世の凝灰岩層に貫入・噴出した、鮮新世の安山岩が山頂を構成しており、同じ山塊に属する南昌山や毒ヶ森、東根山とともに周辺から突出した地形をなしている[2]。
