Ami du compositeur Rudy Clark, il chante plusieurs de ses chansons. If You Gotta Make a Fool of Somebody, qui entre dans le top 10 des charts R&B de Billboard, devient notamment un standard de l'époque, interprété par plusieurs groupes sur scène, notamment les Beatles. Il publie par la suite un album du même nom, ainsi que le single Itty Bitty Pieces, qui atteint la 40e place des classements pop de Billboard.
Il est également l'interprète de I've Got My Mind Set on You, autre composition de Clark, avec laquelle il ne connaît pas un grand succès. La chanson devient mondialement connue en 1987 lors de sa reprise par George Harrison.
James Ray meurt d'une overdose à une date inconnue, les dates de 1962 à 1964 étant évoquées, mais certaines sources mentionnent une mort plus tard dans la décennie.
