父頼兼と同じく都で大内裏を警護する大内守護の任に就く一方、鎌倉幕府の在京御家人となって双方を仲介する立場にあった。建暦3年（1213年）の和田合戦の時は鎌倉にいて幕府方として参戦しており、また建保4年（1216年）には5人から9人に増員された政所別当に任じられている。承久元年（1219年）1月27日に鎌倉で行われた将軍源実朝の右大臣拝賀式にも参列し、実朝暗殺事件に遭遇している。しかし、実朝暗殺後の同年7月13日、京に戻っていた頼茂は後鳥羽上皇の命に従った在京武士にその在所であった昭陽舎を襲撃される。頼茂は応戦し抵抗するものの仁寿殿に篭り火を掛け自害し、子の頼氏は捕縛された。
討伐の理由は『愚管抄』『保暦間記』などによると、頼茂が将軍職に就くことを企てたため在京武士たちがそれを後鳥羽に訴え、後鳥羽は頼茂を召喚したが応じなかったため追討の院宣が発せられたとされており、『吾妻鏡』では後鳥羽の意に背いたためと記されている。後鳥羽が突如頼茂を攻め滅ぼした明確な理由はわかっていないが、鎌倉と通じる頼茂が京方の倒幕計画を察知した為ではないかとする説もある。また『愚管抄』には頼茂と藤原忠綱の間に怪しい共謀があったとし、忠綱は実朝暗殺後に九条基家を次期将軍にしようと画策したため、頼茂が誅殺された翌8月に後鳥羽によって解官・所領没収されており、その赦免を願っていたのが卿二位兼子だったと記されている。そのことから、卿二位の推す頼仁親王の将軍就任が後鳥羽によって拒絶され、卿二位・忠綱の政敵西園寺公経の外孫三寅が有力な将軍候補となったため、卿二位が何らかの妨害を企み発覚したのが頼茂謀反の真相で、後鳥羽は在京武士の訴えで頼茂捕縛を試みたが召喚に応じず討伐に至ったとして、承久の乱に至る公武対立の図式ではなく後鳥羽院政下における権力闘争の一コマとして位置付ける説もある[1][2]。
この合戦による火災で仁寿殿・宜陽殿・校書殿などが焼失し、仁寿殿の観音像や内侍所の神鏡など複数の宝物が焼失したという。
『尊卑分脈』には享年41であったと記されている。
