フランスのロット＝エ＝ガロンヌ県アジャンの出身。5歳のときに父親に捨てられて以来孤児院で暮らし、10歳から15歳頃まではローマ・カトリックの神父の庇護下で暮らしていたが、しばしば体罰を受けていたという。人生の転機となったのは16歳のときで、友人の祖父から競馬場で働くように雇われたことであった。ここで騎手としての人生を駆け出し始めるが、間もなく兵役が課せられ、アルジェリア戦争へと駆り出された。
退役後、クリュゲは再び騎手となり、同じく兵役で出征したイヴ・サンマルタンの代わりとしてフランソワ・マテ厩舎に雇われた。この時期はあまり成功できず、またサンマルタンが退役して戻ってくると、その騎乗機会は激減した。クリュゲの再度の転機は女性調教師のデニスと出会ったことで、後に二人は結婚、そして1965年にアメリカ合衆国へと移住した。
渡米後、クリュゲはフロリダ州を拠点とし、ハイアリアパーク競馬場のホレイショ・ルロ調教師に雇われた。そして現地で早々と頭角を現したクリュゲは1969年に、ブラウリオ・バエザの代役としてアーツアンドレターズに騎乗し、メトロポリタンハンデキャップで優勝、初のG1競走勝ちを収めた。
以後、クリュゲはアメリカでも一線級の騎手として活躍を続けた。1970年に手綱を取ったホイストザフラッグは2歳時に無敗で最優秀2歳牡馬に選出された馬で、怪我によりクラシックを目前に引退している。後にクリュゲがインタビューを受けた際に、最高の馬として同馬の名を挙げている。
1972年にクリュゲ夫妻はヨーロッパの競馬にも復帰し、同年のうちにプール・デッセ・デ・プーリッシュ（フランス1000ギニー）をマタハリで、ヴェルメイユ賞をサンサンで制覇している。同年フランスリーディングにおいて2位を記録し、翌年より再びアメリカに戻っている。国際的な勝鞍はカナダでも挙げており、1978年にはマックダーミダという馬でカナディアンインターナショナルチャンピオンシップを優勝している。
アメリカクラシック競走の優勝経験は3回と少ないものの、それらはすべてシアトルスルーによるクラシック三冠達成のものであった。クリュゲはデビューから長らく同馬の鞍上を務め、2歳戦から三冠路線を連勝し、3歳秋に降ろされるまで13戦を担当していた。ベルモントステークスではゴール線の20ヤード手前で勝利を確信し、鐙に直立して鞭を持った右手を観客席に向かって高く掲げたという。
1980年の7月に一度引退し、妻の調教師業を手伝っていたが、それから2年後に復帰している。その後も長らく騎手を続け、1989年にはホッジズベイという馬で再びカナディアンインターナショナルに優勝している。その後引退し、ケンタッキー州ヴァーセイルズ近郊で暮らす傍ら、オールドフレンズの功労馬繋養事業に協力をしている。現在は夫人が寝たきりとなっていることから、その介護に多くの時間を費やしており、公の場に出る機会は減っている。
