五岳の他の山々と同じく周時代から道教の聖地とされていたことが記録に残るが、他の四山ほど重要視されず、主要な巡礼地となることもなかったようである[2]。漢時代には現在の北岳廟の前身となる寺院が山腹に建設されたが、遼がこの地を支配するようになると、宋朝の皇帝は恒山から南へおよそ150キロメートル離れた曲陽県に北岳を祀る廟を別に建設した[2]。
今日、恒山にある最も有名な寺院は道教寺院ではなく、仏教寺院の懸空寺である[2]。懸空寺は恒山のふもとに近い絶壁に築かれた木造寺院である。創建は491年であるが、明時代 (1368年 - 1644年) および 清時代 (1644年 - 1911年) に大規模な修復が行われている。また、1900年には解体修理も実施された。40の木造堂宇が数々の柱や梁、廊などで巧みに繋がれている。
