1965年7月5日、プロデビュー。
1967年6月9日、キャリア晩年に差し掛かっていたフロイド・パターソンに引き分ける。一か月半後の再戦では大差の判定勝ちを収める。
1968年4月27日、空位のWBA世界ヘビー級タイトルをジミー・エリスと争い、僅差の15回判定負け。
1969年6月23日、ジョー・フレージャーの持つニューヨーク州公認世界ヘビー級王座に挑むが、7回TKO負け。
1969年12月12日、全盛期のモハメド・アリを二度に渡って苦しめた強豪ジョージ・シュバロに7回TKO負け。
1970年6月17日、デビュー以来24連続KO勝ちをマークした驚異的な強打者マック・フォスターに6回KO勝ちして復調する。
1970年10月26日、モハメド・アリの復帰戦の相手として選ばれたが、3回に左目の瞼をカットしてしまい無念のドクターストップとなった。1年8か月後の72年6月29日、アリの持つ北米ヘビー級タイトルに挑み、善戦したが7回TKO負けで退いた。
その後は王座に絡むことなく、1975年3月24日、ケン・ノートンに5回KO負けを喫した試合を最後に引退。
1977年に復帰し勝利を収めるが、この一試合のみで再び引退。
しかし離婚やビジネスに失敗し、1983年にボクシングのダメージを起因とする脳萎縮などの症状が確認されるが、37歳で6年ぶりに復帰し、2試合を戦って再び引退。
その後ボクシング時代に稼いだ金を使い果たし、1990年頃には生活保護を受けるようになる。
クォーリーは復帰を決めるが、健康問題を理由にほとんどの州で試合ライセンスの発行を断られる。しかしコロラド州で試合の許可が下り1992年10月30日に47歳で9年ぶりに復帰するが敗戦、この試合を最後に正式に引退した。
1995年、国際ボクシング名誉の殿堂博物館に選出された（世界ボクシング殿堂にも選出されている）。
引退後は現役時代の数多くの激闘の結果、同時代に活躍したライバルたち同様に重度のパンチドランカーの症状に悩まされた。1983年にCTスキャン撮影で脳萎縮が確認され、アルツハイマー病、認知症を発症。1992年に最後の試合を戦った数年後には、1人で食事と着替えを行えなくなった事で介護者が必要となり、兄ジェームスの手厚い介護を受けた。クォーリーは4人兄弟で、ジェームス以外はボクシングをやっていたが、弟マイクもパンチドランカー症を患い2006年11月に54歳で死亡。別の弟ボビーもボクシングのダメージが原因と思われるパーキンソン病を患った。
その後、クォーリーも1998年12月28日に肺炎で入院、意識を回復しないまま1999年1月3日、53歳で死去した。
アメリカ合衆国
