当社の裏にある大樹と板石塔婆は「本郷大六天青石塔婆と樫樹」として市指定文化財(史跡)に指定されている。1959年(昭和34年)12月1日指定。大樹は白樫(シラカシ)で、樹幹は落雷によるものと思われる大きな裂け目ができて空洞化している(ただし、現在も葉を茂らせており生存している)。この白樫の根元に2基の板石塔婆が食い込んでいる。磨滅しているため造立年は不明だが、碑や梵字の形式から鎌倉時代のものと推測される[6][7]。
この板石塔婆は元久2年(1205年)に武州二俣川(現・神奈川県横浜市旭区二俣川)で敗れた畠山重忠の墓であるという伝説がある。伝承によると、重忠の遺骸を家臣が車で秩父に運んでいる途中、当時この付近にあった「飯能の車返しの坂」で動かなくなり、重忠の霊がそうさせていると察してこの地に葬ったと言われている[8][7]。さらに、この光景を見た当地の人々は重忠が鎌倉にいた頃を懐かしんでここから振り返ったのだろうと思い巡らせ、この坂を「見返り坂」と名付けたという[9]。
ただし、史実では重忠が二俣川で敗れた後、遺骸はそのまま同地に葬られたとされており[8][7]、墓所についても重忠生誕の地である旧武蔵国男衾郡畠山郷(現・埼玉県深谷市畠山、「畠山重忠公史跡公園」内)に所在している。
縦に裂け空洞化した白樫の大樹
根元に食い込んだ2基の板石塔婆
「伝 畠山重忠の墓」と記された木札
埼玉県飯能市大字飯能320番1号[6](飯能市立飯能西中学校校庭南側[7]、県道下名栗線北側[2])