バリーは、1939年7月13日、ルイジアナ州カットオフに生まれた。本名はジョセフ・バリオス。1957年にニューオーリンズに移住[1]、1958年にレコーディングを開始した[3]。
バリーは、ジン(Jin)・レコードからの最初のシングル「Greatest Moment Of My Life」を1960年にリリース。翌1961年、同レーベルからの2枚目のシングル「I’m A Fool To Care」(オリジナルはレス・ポールとメアリー・フォード)はマーキュリー・レコード傘下のスマッシュに取り上げられ、米国のR&Bチャート15位、ポップ・チャート24位を記録した[4]。「I’m A Fool To Care」は1968年までに100万枚以上を売り上げ、ゴールド・ディスク認定を受けている[5]。同曲は英国シングル・チャートでも49位となっている[6]。続くシングル「Teardrops In My Heart」も米国でチャート入りはしたものの、トップ40には届かなかった[3]。バリーはさらにいくつかのシングルを1960年末にかけてスマッシュ、ナゲット、プリンセスなどのレーベルからリリースしているがいずれもチャート入りはしなかった。1960年頃に彼はディック・クラークの「アメリカン・バンドスタンド」にも出演している。
バリーは観客に暴力を振るったり、宿泊先のホテルを破壊するなどの問題行動により、徐々に仕事が少なくなり[1]、1970年代に入ると音楽業界を離れて石油精製工場で働くようになった[1]。
1977年、バリーは音楽活動に戻り、カントリーのフル・アルバムをリリース。1980年にはゴスペルのアルバムをリリースしている[7]。しかしながら、その後は心臓と肺に深刻な健康上の問題があったことで音楽活動はできていない[1]。
2003年、彼は新譜『Been Down that Muddy Road』をリリースした。これは健康上の制約から数年間の間オーバーダビングを繰り返して完成させたものであった。この作品はニューヨークのナイト・トレイン・インターナショナルのアーロン・フックスとルイジアナ州ホウマのパーシング・ウェルズとマイケル・ヴァイスがプロデュースし、バンドは ブルー・アイド・ソウル・リヴューが全トラックに参加した。
バリーは、2004年8月31日、出身地のルイジアナ州カットオフにて死去した。65歳だった[3]。