コノリーは、高校を卒業していなかったが一念発起して大学にいくことを決意。1895年にハーバード大学に入学する。そんなとき、第1回オリンピックが開催されることを知った彼は、大学を休学し参加しようと思いたった。しかし、大学に申し出を行うも却下される。そのため彼は大学を中退しオリンピックに出場することを決意し、アテネに向け出発した。彼はドイツの貨物船に乗りイタリアのナポリに到着した。そこでアテネ行きの切符を強盗に盗まれてしまったが何とか取り戻し、汽車を乗り継いでアテネに向かう。大会の開幕前日にようやくアテネに到着した。
オリンピック初日の最初の決勝は彼の出場する三段跳であった。彼の三段跳びは右足で2つのホップをするという現在では禁止されている跳躍方法（当時は可能だった）で、2位に1m以上の差をつけ、近代オリンピック最初の優勝を果たす。1896年4月6日のことだった。
これにより、コノリーは西暦385年のオリンピックでアテネのザピロスがパンクラチオンで優勝したとき以来1511年ぶりのオリンピックチャンピオンとなる。（これとは別に、古代オリンピック最後の優勝者は369年のアルメニアのバラスデテスがボクシングで優勝したのを最後とする見解もある。この場合1527年ぶりとなる。）
コノリーはこの大会で、走高跳で2位、走幅跳でも3位に入っている。
オリンピックチャンピオンになったコノリーは、ボストンに帰り、熱狂的に歓迎され、サウスボストン市民から金の時計を贈られたという。
コノリーは、1900年パリオリンピックにも参加。前回優勝した三段跳に出場したが銀メダル（2位）という結果に終わっている。
.svg){kind=small}
.svg){kind=small}
