明和8年（1771年）3月21日（または明和6年（1769年））、高遠藩嫡子の内藤頼多の長男として江戸四谷下屋敷で生まれる。父の死後、内藤頼尚が嫡子となったため、その養子となって安永5年（1776年）に家督を相続する。だが藩政では自ら城を抜け出して川干しを見たり、登山をしたり花火見物、遠乗りや猪狩りなどをして藩政を省みず、かえって領民にその際の負担を負わせて諸費用がかかったという。
しかし、寛政3年（1791年）に嫡子をもうけぬまま死去した。享年21（または23）。陸奥国福島藩板倉家から頼以を養子に迎え、跡を継がせた。