元禄10年（1697年）、初代藩主・内藤清枚の長男として江戸[1]で生まれる（生年は元禄14年（1701年）10月6日説もある）。父の清枚にとっては50歳を越えてようやく生まれた息子であったが、清枚は跡継ぎを心配して既に養子に長頼と清行を迎えていた。しかし長頼は、やがて養子縁組を解消されて実家の安部家に戻った。このため清行が後継者となり、頼卿は正徳3年（1713年）にその養子になっていたが[1]、清行は早世したため、頼卿は父の世子に指名され、正徳4年（1714年）に父が死去すると家督を継いだ。
しかし病弱だったといわれ、藩財政再建のために藩政改革を行なったが失敗している。享保9年（1724年）3月から享保13年（1728年）8月まで奏者番を務めた。他にも江戸城桜田・和田倉門番、増上寺の警備、朝鮮通信使来日時の東海道御用、公卿の接待役、浅草御門より小石川御門の坊火役、日光社参の御用など多数の公務を行っている[1]。
享保20年（1735年）2月27日に死去。享年39。頼卿は死ぬ前に遺言を遺しているが、その内容は自らを謙遜して病弱のために思うような藩政ができなかったことを悔い、家中の一統と繁栄、存続を願ったものであった[1]。
実子が無かったため、養子・頼由（永井直敬の六男）が跡を継いだ。