公的には、享保6年（1722年）12月28日、藤堂家一門の藤堂出雲家第4代・藤堂高武の四男として津で生まれたとされるが、実は、享保12年（1728年）12月28日、久居藩藩主だった藤堂高治の長男として久居で生まれた。早く末期養子を迎えられる17歳に達するために生年を偽って幕府に届けられており、幕府が編纂した『寛政重修諸家譜』では享保6年（1722年）生まれとされ、『藤堂家譜』、『公室年譜略』等では正しい生年の享保12年（1728年）とされる。
享保20年（1735年）8月2日、津藩主の父高治が死去。幸次郎（高雅）はまだ9歳と幼いため、久居藩主・高豊が本家津藩主として転任し、高豊に代わって久居藩主を継いだ。元文3年（1738年）、桜田防火使となり、その後も神田橋門監衛、大手防火使になる。同年12月18日に叙任する。
藤堂高雅の墓(津市寒松院)
藩政においては、雲出川の洪水による領民に対する救済、財政難による倹約や家臣の生活救済に尽力した。宝暦12年（1762年）9月20日、久居で死去した。享年36。
跡を養子の高敦（高豊の長男）が継いだが、高敦ものちに津藩主を継いだ（その際に諱を高嶷と改めた）。
