尊皇攘夷の藩風に触れて成長し尊皇志士となる。剛勇にして鉄砲技術に通じていた。弘化元年（1844年）、幕府が徳川斉昭に致仕を命ずると、恒次郎は宥免に奔走し処罰を受ける。桜田門外の変では予備要員として備え、井伊直弼暗殺に成功すると薩摩藩邸に逃れた。やがて、身柄は水戸藩に引き渡され一時慎みを命ぜられた。明治元年（1868年）復職し、やがて軍務寮に出仕した。
父は水戸藩士吉成又右衛門信貞、兄は吉成勇太郎信順、母は軽部六郎左衛門政行の女。甥に山口正定、義弟に原熊之介がいる。
大正7年（1918年）、正五位を追贈された[1]。