天平年間(729年 - 749年)、行基によって開山された。行基が自ら彫った延命地蔵を安置する寺を創建したのが、当寺の起源である。平安時代に弘法大師空海が当寺を訪れ、延命地蔵を収納する厨子を設けた。この厨子が「逗子」という地名の由来になったといわれている[1]。
鎌倉時代には、三浦氏の祈願寺となっている。1513年(永正10年)、後北条氏の侵攻を受け、三浦義教こと三浦道香主従は当寺で自害した。彼らの墓が宝篋印塔の形で残っている[2]。
三浦氏滅亡後は、引き続き後北条氏の祈願寺になっている。天文年間(1532年 - 1555年)、朝賢が中興している[1]。
当寺には、近くの亀岡八幡宮の旧神体だった阿弥陀三尊の懸仏を所蔵している[2]。