Cleveland, nació en Chicago y comenzó a cantar siendo niño en la Iglesia Bautista Pilgrim, donde Thomas A. Dorsey era ministro de música y Roberta Martin pianista del coro. Tensó sus cuerdas vocales cuando era adolescente mientras formaba parte de un grupo de gospel local, lo que al parecer, contribuyó a formar su voz grave que se convirtió en un sello distintivo de su carrera. Siendo adolescente, formó parte de un grupo misionero, Soul Winners for Christ. El cambio en su voz llevó a Cleveland a enfocarse en sus habilidades como pianista y luego como compositor y arreglista.[5]
En 1950, Cleveland se unió brevemente al trío Gospelaires, junto con Norsalus McKissick y Bessie Folk. Tras la disolución del grupo, comenzó a trabajar como compositor, arreglista, pianista y , desde 1954, cantante ocasional con su amiga de la infancia Albertina Walker, fundadora de The Caravans y conocida popularmente como la "Reina del Góspel". The Caravans se convirtió en la plataforma de lanzamiento de futuras leyendas del Góspel, como Shirley Caesar, Cassietta George, Dolores Washington, Josephine Howard, madre de la cantante de R&B, Miki Howard, Inez Andrews, cuya canción "Mary, Don't You Weep" se convirtió en un clásico del género, Dorothy Norwood, y Loleatta Holloway, quien a finales de la década de 1970 se convertiría en una estrella de la música Disco.
En 1959, grabó una versión del éxito de Ray Charles, "Hallelujah, I Love Her So" como solista. Para 1960, Cleveland, que había incorporado riffs de blues en su trabajo, publicó una versión de la canción de Soul Stirrers, "The Love of God", respaldada por el grupo "Voices of Tabernacle" de Detroit. El éxito de la grabación le llevó en 1962 a firmar un contrato discográfico con el histórico sello de jazz Savoy Records. Con la cooperación del reverendo Lawrence Roberts, pastor de la Primera Iglesia Bautista en Nutley en Nueva Jersey y sede del prestigioso coro góspel, Angelic Choir, así como del productor ejecutivo de Savoy Records, Fred Mendelsohn, Cleveland lanzó dos álbumes grabados en vivo, antes de publicar en septiembre de 1963, la icónica obra maestra, Peace Be Still, que le valió su primer disco de oro y permaneció en las listas de Billboard durante al menos quince años después de su lanzamiento.
Cleveland se mudó a Los Ángeles para convertirse en Ministro de Música en la Grace Memorial Church of God in Christ, donde alcanzó gran popularidad trabajando con el teclista Billy Preston y el Angelic Choir de Nutley, Nueva Jersey. Formó el grupo The James Cleveland Singers, que incluía a Odessa McCastle, Georgia White, Eugene Bryant y Billy Preston. En 1964, se unieron Roger Roberts y Gene Viale y en 1965, Clyde Brown y Charles Barnett. Otros cantantes se sumaron en años posteriores fueron Marva Hines, y la reconocida soprano solista, Cleo Kennedy.
Cleveland aprovechó su éxito para fundar su propio coro, el Southern California Community Choir. En 1975 ganaron un Premio Grammy por su álbum, In the Ghetto. El coro también colaboró en la grabación de numerosos álbumes para artistas como Aretha Franklin, Kansas, Elton John y Arlo Guthrie. En 1972, produjo para Aretha Franklin su histórico álbum Amazing Grace, ganador de un Grammy y con ventas millonarias, es considerado como el mejor álbum de góspel de todos los tiempos.[6] El álbum fue grabado en vivo en la New Temple Missionary Baptist Church de Los Ángeles y contó con la colaboración del Southern California Community Choir. La histórica grabación también fue filmada por el director Sydney Pollack para lanzarla posteriormente como documental, pero debido a un problema técnico, la película se consideró inutilizable y se dejó archivada durante los siguientes 47 años. El documental completo finalmente se estrenó en abril de 2019 y se proyectó en cines de todo el mundo.[6]
A lo largo de su carrera discográfica, Cleveland inició una tendencia al adaptar al góspel, éxitos del pop, R&B y Soul. De todas las canciones pop convencionales que adaptó para el público góspel, la más destacable fue "You're the Best Thing That Ever Happened to Me" de Gladys Knight & The Pips, cuyo título cambió a "Jesus Is the Best Thing That Ever Happened to Me". Otras interpretaciones góspel memorables fueron "I Write the Songs" de Barry Manilow y "Didn't We Almost Have It All" de Whitney Houston, conocida como " Aren't You Glad You Know the Lord ".
El 9 de febrero de 1991, James Cleveland murió en Culver City, California, de una insuficiencia cardíaca congestiva.[2] El funeral tuvo lugar en el Shrine Auditorium de Los Ángeles ante una gran multitud de seguidores. Está enterrado en el Cementerio Inglewood Park en California.
