夷隅郡布施村（現在のいすみ市上布施）出身。明治12年（1879年）2月に以文会が結成された際に幹事に抜擢され、同年3月の愛国社第2回大会には以文会を代表して参加、また国会開設請願委員の1人として東京に入り活動を行う。また、郷里に薫陶学舎を創設して人材の育成にあたる。井上のもとで以文会は勢力を拡大させて県会議員選挙でも当選者を出すなどその行動は注目の対象となり、後世「千葉県の自由は夷隅の山中に生る」（『夷隅郡誌』）と評される所以となった。
明治14年（1881年）に板垣退助が自由党を結成すると、井上ら以文会の主要幹部も同党に加入して「夷隅自由党」を号した。このため、次第に警察の圧迫を受けるようになり、明治17年（1884年）には薫陶学舎は閉鎖を命じられ、更に夷隅事件によって逮捕された。警察は井上らが政府転覆計画を図っていたと主張していたが、証拠が見つからなかったために一転して官吏侮辱罪にて強引に起訴した。東京の市ヶ谷監獄に収容された井上は有罪判決を受けるが、明治18年（1885年）11月には釈放された。入獄中に体調を崩し、釈放の翌年に34歳で死去した。
