嘉保2年（1095年）に延暦寺の僧兵が源義綱の配流を要求して強訴を起こした際に、関白藤原師通の命により賀茂川原の守備に就き、これを撃退する。しかしその際、頼治の手勢が日吉神社の神輿を射たことが、さらなる延暦寺側の態度の硬化を招くこととなった。降って4年後の承徳3年（1099年）には、師通が38歳にして急死。これを神罰と恐れた朝廷は、ついに頼治を処罰することを決断し、佐渡国（一説には土佐国）への配流とした。
曾祖父頼親、祖父頼房に次ぐ頼治の失脚は、大和源氏の勢力衰退に一層拍車をかけることとなった。