伊勢津藩家臣・藤堂高周の長男。宝暦14年（1764年）2月27日、津で生まれる。高周（東雲院）は一族の藤堂出雲家（藩祖藤堂高虎の弟・藤堂高清の子孫）の第7代当主であった。安永6年（1777年）に第9代藩主・高興が死去したため、その養子として家督を継いだ。安永7年（1778年）に桜田防火使を務め、天明元年（1781年）9月5日に従五位下・佐渡守に叙位・任官する。
藤堂高衡の墓(津市寒松院)
直後に勅使接待役を幕府より命じられたが、病に倒れて10月9日に江戸で死去した。享年18。跡を実父・高周の養子となっていた高矗が継いだ。
