レミングは1899年、やり投で49m31の世界新記録を樹立していたが、初出場したパリオリンピックではやり投が種目に含まれていなかった。しかしそれでも6種目に出場、走高跳、棒高跳およびハンマー投の3種目で4位に入り、円盤投では8位、走幅跳で12位となり、ほかにも三段跳に出場した。
1904年のセントルイスオリンピックには出場しなかったものの、1906年、オリンピック中間年に開催されたアテネオリンピック(非公式大会)に出場。やり投自由形で金メダル、砲丸投で銅メダル、五種競技で銅メダル、綱引きでも銅メダルを獲得している。そのほかにも円盤投で4位。石投げでも4位になっている。
1908年のロンドンオリンピックでは、1906年に続きやり投自由形で金メダル。[1] さらに通常のやり投でも金メダルを獲得し、やり投2種目で金メダルを獲得した。この大会ではほかにもハンマー投で8位、円盤投、ギリシャ式円盤投にも出場している。
1912年、レミングは地元で行われた自身最後の五輪となるストックホルムオリンピックに出場。前回大会金メダルを獲得したやり投で前回大会より6m近く記録を伸ばす60mスローで金メダルを獲得。オリンピック2連覇を達成した。この大会ではやり投(両手投げ)で4位、円盤投(両手投げ)で11位という結果を残している。
オリンピック後の1912年9月にはやり投の世界記録を62.32mまで伸ばしている。