享保8年（1723年）、諏訪藩家老諏訪図書家第6代・頼弟の子として生まれる。図書家は、第5代頼記の早世に続き家督を相続した頼弟も病弱で、藩政の運営は三の丸家の千野家が主導する時代が続いていた。
明和7年（1770年）5月、三の丸家千野貞亮に好意的であった前藩主諏訪忠林が死去した。同年12月、病弱な頼英に代わって政務を代行していた嫡子頼保（大助）が、三の丸派の不正を糾弾して貞亮を失脚させる。
安永8年（1779年）6月、今度は貞亮が、二の丸派の政治の不正を藩主忠厚に訴えて頼保（大助）が失脚した。
両派の対立は、藩主後継問題に発展することになる。藩主忠厚には長男軍次郎、次男鶴蔵の2子があり、三の丸派の貞亮は長子軍次郎の後継を支持し、頼英・頼保親子は、藩主頼厚が寵愛する次男鶴蔵を次期藩主にと画策した。
天明元年（1781年）1月、貞亮は江戸に出府して、藩主忠厚に藩主後継問題で直言しようと試み、怒りを買って国元に追い返された。続いて頼英・頼保親子が江戸に召還され、貞亮の非を訴えると、同年5月、貞亮は家老を罷免され隠居を命じられた。
同年8月、貞亮は、夜間国元を抜け出して江戸に出府。忠厚の妹婿・奏者番松平乗完の江戸屋敷に駆け込み訴え出た。乗完より老中田沼意知の耳に入り、老中会議の結果、頼英・頼保親子に非があるとされ、天明3年（1783年）7月3日、頼保は切腹した。頼英は、永牢を命じられる[1]。天明4年（1784年）8月3日病死。図書家は家名断絶した。この騒動を「二の丸騒動」と呼ぶ。