元禄16年（1703年）2月7日、初代藩主・松平頼貞の三男として誕生。母は茂（松本氏）。嫡子だった兄・頼尚が廃嫡された後、代わって嫡子となった。元文3年（1738年）、父の隠居により家督を継いだ。藩政では、ウルシ50万本の植樹計画や藩内全域での定免法施行により財政立て直しと殖産興業の推進を行った。
若い頃には荻生徂徠に師事しており、藩主となった後も藩校養老館を創建して学業の奨励にも努めた。
同じ支藩の常陸府中藩主・松平頼済（頼寛の実弟）と共に老中堀田正亮の役邸に呼び出しを受けて水戸藩の財政改革を行うことを直接命じられ、これが水戸藩の宝暦の改革となった。
宝暦13年（1763年）10月28日に死去した。享年61。長男の頼羆と次男の頼篤は夭折していたため、三男・頼亮が跡を継いだ。
晩年に徳川家康の伝記『大三川志』を編纂している。趣味として「仙子」の雅号で書をしたためたり、絵画も描いた。その他、菊栽培に関する著書『菊経国字略解』や、論語注釈書の比較本『論語徴集覧』、『発字便蒙解』といった著書も記した。
