所在地としては稲城市百村であるが、地域的には多摩ニュータウンの中に存在する（多摩ニュータウンの中に神社があるのは珍しい）。かつてはこの地は多摩丘陵の里山であり、おそらくは里山の中に祀られていた神社であると思われる。創建時期を明記した史料は存在していないが、本殿の礎石に「宝暦十四年願主松本権之丞建立」（1764年）とある為、これが創建の年であると考えられている。現在の本殿は、明治時代の中期に建てられた。拝殿は、明治21年（1888年）に建造されたものであるが、稲城竪台土地区画整理事業を機に、崇敬者の寄進により平成10年（1998年）に新築された。神社内には、慶応4年（1868年）のキリシタン禁令等に関する太政官高札5枚などが保存されている。
かつては多摩丘陵の豊かな森に囲まれており、集落からは相当に離れた山の上に鎮座していたが、ニュータウン開発に伴って神域の森は失われた。現在では敷地は極めて狭く、背後を南多摩尾根幹線が通過している。神社の境内は、縄文期から平安期までの集落・製鉄遺跡である竪台遺跡に隣接しているが、遺跡との関係は不明である。
タテという地名は、この神社の東側にある竪谷戸（たてやと）と共通するものであるが、中世にこの神社の付近にあった百村城（百村館）の「館（たて）」が「竪」に転じたのではないかとも推測されている。
稲城市教育委員会編『稲城の地名と旧道』には、向陽台地区が建設される以前には鬱蒼とした森の中にあり、麓である百村地区（住居表示上は現在の向陽台地区も百村であったが）からこの神社に上るのは大変であった、との古老の回想が記されている。稲城かるた（稲城市の郷土かるた）には、「（ら）雷神を 祀る氏神 竪神社」と詠まれている。
