『矢板の伝説 後編』によれば、平野の鹿振山という山に、かつて大沢氏の館が存在したと言われている。大沢氏は、13世紀末期から14世紀の初めの頃に、元々、宇都宮家の家臣であったものが、宇都宮氏に派遣されて、その一族である塩谷氏に仕えるようになったものであるが、その時の大沢氏の当主である大沢正勝（政勝・助八郎・隼人亮）が、塩谷氏より賜った領地のひとつが平野村であり、この頃に館が築かれたものと考えられている[1]。
前出によれば、当地には、土塁も残るというが、確かに堀切や切岸、土塁のような地形が見られるところもあるが、堀切は切通し、切岸や土塁も山林開発の跡と区別がつかない程度で、鹿振山自体が字名になるほど広く、この『土塁』が、具体的にどれを指したものかは不明である。ちなみに、山の南端に、腰曲輪のような遺構が残るが、これは、かつてこの地より産出した花の木沢石の採掘の跡で、館の遺構ではない[2]。
館は、塩谷氏が改易された後も大沢氏の屋敷として使われたが、間もなく、この館に住んだ大沢氏は、別の地に移り住んでおり、16世紀末には廃されている。