ローリーは、パリオリンピックにおいて、まず100mに出場。準決勝でアメリカのアーサー・ダフィーに次ぎ2位となるが敗者復活戦に進み11秒0のタイムでトップとなり、決勝進出を果たす。決勝は4人によるレースとなるが、ダフィーが途中棄権したため、3着となったローリーが銅メダルを獲得した。翌日に行われた60mでは、アメリカのアルビン・クレンツレーンとウォルター・テュークスベリーからわずかに遅れ3位でゴール2つめの銅メダルを獲得した。さらに1週間後には200mにも出場。予選では60m、100mで敗れているテュークスベリーに勝利したものの、決勝では、テュークスベリーが金メダルを獲得。ローリーは3個目の銅メダルとなった。
その後、ローリーは友人であるイギリスの選手からフランスとの5000m団体競争にエントリーするよう説得される。この競技は1チーム5人による競技であったが、イギリスチームは5人目のランナーに力ある選手を配置しなくても十分勝てる自信があった。ローリーは短距離選手であり、5000mを走ったことがなかったが、5人目のランナーとして抜擢された。この当時はまだオーストラリアは大英帝国の一部であり、オーストラリアのオリンピック委員会も組織されていなかった。レースは、最初の1周を過ぎるとローリーは歩き始め、レースに参加したほかの9人のランナーがゴールした後も1人歩き続けているローリーに審判は残り1500mでストップさせたが、イギリスチームはポイント差でフランスを下し、ローリーは金メダルを獲得した。
