弘化元年（1844年）、佐賀城下東正丹小路に佐賀藩士山田嘉一左衛門の長男として生まれる。藩校弘道館で学んだほか、石井又右衛門に関口流柔術の教えを受けた。
戊辰戦争においては遊兵隊長として仙台に赴き、前山清一郎が仙台城から救出した奥羽総督九条道孝と参謀醍醐忠敬の護衛を務めた。その後も東北各地を転戦し戦後には200石を賜っている。
明治4年（1871年）の廃藩置県の際には佐賀県の聴訟課に勤務し、さらに石井貞興や西義質と共に鹿児島に遊学し桐野利秋や村田新八の知遇を得ている。
明治7年（1874年）決起直前、横尾純喬と中橋藤一郎を伴って熊本を訪れ、佐賀への遊学歴のあった平川惟一と面会し支援を要請した。平川等はこれを諾したが、学校党は50人程が一堂に会し議論をするばかりで、敬神党員とも意見の一致を得ず、賛同が集まらぬまま佐賀既に動くの報を聴く。有志を募り歩くが、崎村常雄にも聞き入れられず止められるも、約定を守らんと有馬源内、高田露、下森一太を伴って佐賀へ向かったが、若津に着いた辺りで一行は佐賀軍の敗報を聞いた[1]。
佐賀の乱では先頭に立って戦ったが、敗色が濃厚となると西郷隆盛に決起を促すため江藤新平らと共に鹿児島へ脱出した。しかし、西郷に断られたため一行は四国に向かったが、平蔵は途中宇和島から日向に引き返し、鹿児島で自首した。乱後の裁判では他の首謀者たちと共に斬首となっている。享年31。
