父・村越其栄より絵を習う。慶応3年（1867年）其栄が亡くなると、すぐに「東耕堂」を引き継ぎその堂主となった。明治6年（1873年）学制頒布により「私立村越小学校」（通称「村越学校」）と改称する。明治15、17年（1882年、84年）第一回、第二回内国絵画共進会に「光琳派」の画家として出品する。明治28年（1895年）向栄は村越学校の経営を手放す。学校は明治43年（1910年）大洪水被害によって廃校になるまで地域の教育を担った。
向栄はその後絵に本腰を入れ、地域の商家や地主など旦那衆と交わり、その経済力や教養、人的交流を背景に活発な文化活動を行った。明治31年（1898年）に起工された清亮寺（足立区日ノ出町）の本堂修繕の寄進者名を記した扁額を揮毫。明治39年には酒井道一（酒井抱一の孫弟子で雨華庵四世）、稲垣其達（父其栄の師・鈴木其一の門人）、野沢堤雨（抱一高弟・池田孤邨の弟子）と共に四皓会を結成する。同年、帝室技芸員の岸光景が入門。大正3年75歳で没。戒名は不必庵向栄日欣居士。墓所は谷中本通寺だったが、その後谷中霊園を経て、現在は東京都立八柱霊園に移っている。
