ラルバはスウェーデン系フィンランド人で、子供のころはハリ・ラーゲルストレームと名乗っていた。しかし、彼の名がフィンランド風ではないということで、当時のフィンランド陸上連盟のウルホ・ケッコネンから改名を迫られ、ハリ・ラルバとなる。
ラルバは、国内選手権の800mで1928年から1930年までと1934年の計4回チャンピオンに輝いている。また、彼が最も好きな1500mでも1927年に3位に入っている。
ラルバが選手としてもっとも輝いた年が1928年である。この年、彼は400mから1マイルまでのすべての自己ベストを更新した。同年には1500mでアムステルダムオリンピックに出場。決勝では、フランスのジュール・ラドゥメグとの激しい闘いを制し、3分53秒2で金メダルを獲得し、周囲を驚かせた。
ラルバは、1932年ロサンゼルスオリンピックにも1500mに出場しているが、10位という結果に終わっている。