Issu d'une famille très croyante, Cecil McBee entend dès son plus jeune âge du gospel, mais aussi du blues. C'est à l'école qu'il commence à pratiquer, à la clarinette, sans savoir lire la musique mais d'oreille. C'est après avoir entendu un disque de Dizzy Gillespie quelques années plus tard qu'il passe à la contrebasse. Il joue dans divers groupes de rhythm and blues ou de rock 'n' roll, et étudie la musique classique pour améliorer sa lecture. Il fait sa première tournée à l'âge de dix-sept ans, au sein d'un orchestre de dix-huit musiciennes, les Sweethearts of Rhythm d'Anna Mae Winburn. Après ses études à l'Université de l'Ohio (1953-1959) et quelques engagements avec Melba Liston, Sahib Shihab et Dinah Washington, il rentre à l'armée, où il intègre l'orchestre, aux côtés notamment de Kirk Lightsey.
Démobilisé en 1962, il enchaîne les collaborations : avec Jackie McLean, Wayne Shorter (1965), Freddie Hubbard, Miles Davis (1966), Charles Lloyd (1966), Pharoah Sanders (1969), Sam Rivers,1970, Woody Shaw (1974), Art Pepper (1976, Today; 1980, Winter Moon), Abdullah Ibrahim, Harry Edison et Buddy Tate (1985), Didier Lockwood, Elvin Jones (1990 et 1993), Ricky Ford (1999), Mulgrew Miller (2001)… Depuis 1975, Cecil McBee dirige également ses propres formations, dont fait souvent partie Chico Freeman.
Contrebassiste au son énorme, Cecil McBee revendique l'influence de Ray Brown. Mais son phrasé très personnel, sa tendance à poser les notes légèrement en arrière du temps et sa polyvalence (avec une préférence pour les atmosphères post-coltraniennes) le rapprochent plutôt de Richard Davis.
