三河吉田藩の出身[6]で、藩の勘定方などをつとめた[7]。父祖の代から花火製造に従事していた[8]。
明治以降、横浜に出て様々な事業を興す事業家となり、町議会議員ともなった[9]。
1877年に、横浜に平山煙火製造所を設立（娘婿の岩田茂穂も創立に参加していた[10]）。三河豊橋は花火製造で有名で、甚太は地元の花火職人たちを連れてきた[11]。同年11月3日天長節の祝賀として横浜公園で開催された花火大会で、当時暗めのオレンジが主流だった日本花火に対して、鮮やかな色彩を持つ西洋花火を製造し、注目される[2]。
1879年にユリシーズ・グラントが来日した際、前述の横浜公園の花火大会で外国人からも注目を集めていた平山は歓迎の花火の制作を依頼される。その後、横浜で恒例となった米国独立記念日を祝う花火の制作者となる[8]。
平山は花火制作の他、関内で旅館も経営していた。平山の旅館「いとう屋」は、福沢諭吉とその門下生も利用していた[5]。
1883年3月15日、アメリカに「Daylight Fireworks」の名称で特許を出願し、8月7日に登録される。特許番号は282891号[12]。平山のDaylight Fireworks（昼花火）は、炸裂すると花火の中に封入された紙製の人形などが飛び出す「袋物」と呼ばれるもの。人形は風に漂いながらゆっくりと落ちてくるものだった[13]。
1900年9月15日、隠居先の豊橋市で没[14]。
