ヤルビネンは、1906年にアテネで行われたオリンピックの中間大会では、砲丸投、石投げ、円盤投、ギリシャ式円盤投そしてやり投の5種目に出場。砲丸投、石投げは上位6位までに入ることはできなかったがやり投は5位という成績を残した。得意の円盤投では、通常の円盤投で36m82で3位となり銅メダルを獲得。そして、古代ギリシャ彫刻にも存在する台の上から投げるスタイルのギリシャ式円盤投では、35m17で、ギリシャのニコラオス・ゲオルガンタスらをおさえて金メダルを獲得した。
1908年のロンドンオリンピックでは、砲丸投とやり投では前回と同じく結果を出すことができなかったが、円盤投では、通常の円盤投で39m43で4位。そして2年前の中間大会で優勝したギリシャ式円盤投では36m48で、アメリカのマーチン・シェリダン、マーキーズ・ホアに続いて銅メダルを獲得した。
ヤルビネンは、42歳となった1912年にはストックホルムオリンピックにも出場。ギリシャ式円盤投はこの大会から正式種目からはずれ、円盤投は通常の円盤投と、左右両手による円盤投の2種目が行われ、通常の円盤投は15位。両手による円盤投は12位に終わっている。
ヤルビネンの息子たちも陸上選手として活躍。一番上のカーロは、1932年ロサンゼルスオリンピックの砲丸投で8位。二番目のアキレスは1928年アムステルダムオリンピック、1932年ロサンゼルスオリンピックの十種競技の銀メダリスト、そして一番下のマッティは、1932年ロサンゼルス大会のやり投で金メダルを獲得している。
フィンランド
