宝暦13年（1763年）2月20日、三河吉田藩主・松平信復の七男として江戸の吉田藩谷中下屋敷で生まれる。明和2年（1765年）1月15日、信復が幕府に丈夫届を提出した際に公年を水増ししたため、以後公的には宝暦11年（1761年）生まれとされた。天明5年（1785年）10月12日、近江三上藩の第3代藩主・遠藤胤忠の養子となり、寛政2年（1790年）2月20日に胤忠の隠居により家督を継いだ。家督相続後の6月14日に江戸城竹橋門番に任じられ、11月27日に従五位下・備前守に叙位・任官する。12月26日に大番頭に任じられたが、寛政3年（1791年）6月7日に全ての職を辞職している。
享和元年（1801年）8月6日、左近将監に遷任する。文化元年（1804年）5月2日、竹橋門番に再任され、文化4年（1807年）6月22日まで務めた。
文化8年（1811年）6月23日、病気により家督を婿養子の胤統に譲って隠居する。文化11年（1814年）9月24日に死去した。享年52（公的には54）。