第5代藩主・加藤泰温の長男として誕生。幼名は富之助。
父の泰温は延享2年（1745年）6月上旬に死去しており、泰武はその1カ月後に生まれた息子である。宝暦12年（1762年）2月1日、先代藩主の加藤泰衑が隠居したため、その養嗣子として跡を継いだ。藩財政再建のために、家臣団の知行削減などを行なったが、幕府の公役による出費に苦しんだと言われている。
明和5年（1768年）5月22日に脚気腫のため24歳で死去した。子は娘しかいなかったため、跡を先代泰衑の実子で養嗣子の泰行が継いだ。法号は広善院殿頴鋒義俊大居士。墓所は愛媛県大洲市柚木の冨士山如法寺。
