デッサウで生まれた。父親のフェルディナント・オリヴィエ（Ludwig Heinrich Ferdinand Olivierまたは Ferdinand Olivier der Ältere）はスイス、ヴォー州の出身でデッサウの改革派の学校フィランソロピニム (Philanthropinum) の教授であり、母親のルイーゼ・ニートハルト (Louise Niedhart) はオペラ歌手であった。弟に画家となったフリードリヒ（Friedrich Olivier, 1791年 - 1859年）とハインリヒ（Heinrich Olivier , 1783年 - 1848年）がいる。父親が教えていた学校で教えていた画家のコルベ (Carl Wilhelm Kolbe der Ältere)や ハルデンヴァンク (Johann Christian Haldenwang) から美術教育を受けた。
1802年から1803年の間はベルリンで木版画の技術を学び、この頃画家になる決意をして1804年に弟のハインリヒとドレスデンに移り1806年まで滞在し、17世紀の風景画家クロード・ロランやヤーコプ・ファン・ロイスダールの作品を模写して修行した。
ドレスデンの画家ヤコプ・ヴィルヘルム・メハウ (Jakob Wilhelm Mechau) や カール・ルートヴィヒ・カーツに学んだ。当時のドレスデンにはドイツのロマン主義絵画を代表するフィリップ・オットー・ルンゲやカスパー・ダーヴィト・フリードリヒが活動していた。
政治家のアウグスト・フォン・ローデに雇われ、1807年から外交使節団に加わり、パリで働き1810年までパリに滞在した。
1811年にウィーンに移り、ウィーンでは「ナザレ派」の画家と交流していたヨーゼフ・アントン・コッホと知り合い、コッホの新しい風景画のスタイルに影響を受けた。1812年に3人の子供を持つ未亡人と結婚した。1816年にウィーンで「聖ルカ兄弟団」（「ナザレ派」）に加入したがローマを訪れたことはなかった。ナザレ派の画家、フィリップ・ファイトと一緒に旅した。
1830年にミュンヘンに移り、ペーター・フォン・コルネリウスの推薦でミュンヘン美術院の事務長になった。1833年に教授に任じられた。
.svg){kind=small}
.svg){kind=small}
