旧讃岐高松藩第11代藩主(後に伯爵)松平頼聰の十男。生母は彦根藩主で大老井伊直弼の娘千代子。貴族院議長、伯爵松平頼寿は同母兄。妻は肥前佐賀藩主鍋島直大の娘俊子。長男頼明は子供のなかった兄頼寿の養子となり、伯爵位を継いだ。長女佳子(誠子)は伯爵廣橋眞光の養妹となり、李王家の一族である李鍵公妃となった。
海軍兵学校30期を卒業し、1902年(明治35年)少尉任官。日本海海戦に第一駆逐隊所属の「春雨」乗組みとして参戦[3]し、第一次世界大戦にも出征した[4]。予備役後の1926年(大正15年)から少年審判所に勤務し、また鉱業会社の役員を務める[4]。