オリバが生誕した当時、キューバはキューバ革命の真っ只中であった。
生家は決して裕福ではなく、12歳の頃からサトウキビ畑で父と共に働いていた。16歳の時に反共軍に参加するもキューバ革命は成功に終わり、目的の無くなったオリバは地元の海で時間を潰す日々を過ごしていた。ところが、友人の誘いで通い始めた地元のウエイトリフティングクラブで才能を見出され、ウエイトリフターとしての活動を開始する。
ウエイトリフティングの大会でジャマイカに滞在していたオリバは宿を抜け出し、そのままアメリカに亡命した。亡命後にボディビルを始めたものの、亡命から日が浅い若手時代は、テレビの修理士やトラックの積み下ろしなどの肉体労働を半日以上こなしてから3時間のトレーニングを行い、トレーニング後は語学学校で勉強をしていた。
1967年から1969年にかけて、ミスター・オリンピアの3連覇を果たす。特に、1968年は他の出場者たちがオリバに勝利する自信がないことから続々と出場を辞退し、不戦勝での優勝となった。1973年、IFBBの出場資格を剥奪され、長らく他団体で活動していたが、出場資格剥奪から12年後の1984年、オリンピアに招待されたことをきっかけにIFBBに復帰する。1985年、44歳でボディビルを引退。
引退後は、1975年から勤めていたシカゴ警察官の職務に引き続き従事し、2003年まで勤務した。14時間勤務の後にトレーニングをこなすという現役時代と変わらぬバイタリティを発揮した。
晩年の数ヶ月は腎不全で人工透析を受けていた。公式発表された死因は心臓発作となっている。
息子のセルジオ・オリバ・ジュニアもボディビルダーである。
