観音堂の建立について、明治維新の神仏分離令による廃仏毀釈によって観音堂が破却解体され、本尊仏の如意輪観音像は、西小塙の月山寺に移守護されることになった。しかし、寺内にしばしば怪異 (あやしいことが起こるため、 明治20年堂内には残った仁王門内に安置されることになったのち、解体時の残存用材を基に観音堂を提原再興 大正二年入仏式を行った。
観音堂の創建は不明だが、弘安七年(1284年)と長享元年(1487年)に屋根葺き替えの記録が残された棟札が残り鎌倉時代からの古い寺院であったことがわかる。 元の寺院名は「華立山福聚院観音寺」と号し、天台宗月山寺の末寺であった。