リフォーはパリで1799年に生まれた。1811年には13歳でパリ音楽院に入学する前に、オペラ座管弦楽団のコントラバス奏者だった父ピエール・リフォーから最初の音楽教育を受けた。
1820年、ローマ賞に出場し、カンタータ『ソフィニベ』で第二位を受賞し、翌年にはカンタータ『ディアーヌとエンディミオン』で第一位を獲得した。その後1821年12月20日から1823年12月31日までローマのヴィラ・メディチに滞在し、ナポリ、ドイツ、オーストリアを旅行した。そこで画家ジョゼフ＝デジレ・コートと友人になり、コートによって1822年にローマ市の風景を背景に、開いた窓の前で作業台に座るリフォーの肖像画が描かれた。 この絵は今でもルーアン美術館に保管されている。
1824年にパリに戻り、オペラ＝コミック座の伴奏者としての仕事を再開し、2年後に同劇場のコレペティートルの責任者に任命された。 1833年、ジャック・アレヴィが去った後は、パリ音楽院の女性のためのハーモニーと実践的伴奏クラスの講師として招待され、1838年3月2日に早逝するまでこの職を務めた。
1826年8月30日、オペラ・コミック座の歌手ジャンヌ・エメリ・ベロステとパリで結婚した。 2人の子供の母であり30歳で未亡人となったジャンヌは再婚し、1881年に亡くなった。
