延岡藩藩士井上主膳の子として日向国東臼杵郡延岡に生まれる。
1828年(文政11年)、江戸へ出て千葉周作(北辰一刀流)の道場・玄武館に入門。
1851年(嘉永4年)、飛騨郡代・小野高福に招聘され飛騨高山(現 岐阜県高山市)に赴く。同地で高福の子の小野鉄太郎(後の山岡鉄舟)に剣術を教える。
幕末期に幕臣となり、講武所剣術師範役並、遊撃隊頭取、歩兵奉行を歴任。
明治維新で静岡へ転じ、浜松城代、中泉奉行等を務める。
1878年(明治11年)、第二十八国立銀行頭取に就任。
1880年(明治13年)、東京へ戻る。
1883年(明治16年)、千葉栄次郎の長男之胤が東京神田に玄武館を再興。山岡鉄舟とともに之胤を後見する。
1897年(明治30年)4月2日没。墓所は谷中霊園内の了俒寺墓地にあったが、2009年に無縁撤去されたため現存しない。