Né à Miami, il passe sa jeunesse à Philadelphie. Après avoir étudié la clarinette, il apprend la contrebasse en 1953. Il commence sa carrière dans des orchestres locaux de rhythm and blues.
Suivant les conseils du batteur Philly Joe Jones, il s'installe à New York. On le voit alors aux côtés de Bill Evans, Lennie Tristano, Lee Konitz, Benny Golson, Curtis Fuller et surtout d'Ornette Coleman avec qui il fait une tournée et enregistre Ornette on tenor.
De 1960 à 1967, il est le contrebassiste des diverses formations (quartet, quintet…) du saxophoniste John Coltrane. Le quartet composé de John Coltrane au saxophone, MacCoy Tyner au piano, Jimmy Garrison à la contrebasse et Elvin Jones à la batterie est l'un des plus célèbres ensemble de l'histoire du jazz. Ce groupe reste encore aujourd'hui la figure la plus emblématique du jazz modal. Coltrane, petit à petit, adopte l'esthétique du free jazz si bien que Tyner et Jones sont remplacés par Alice Coltrane et Rashied Ali. Garrison reste pour sa part avec le saxophoniste jusqu'à la mort de ce dernier en 1967.
À la même époque, il co-dirige un groupe avec le pianiste Hampton Hawes.
Après la mort de Coltrane, il continue une carrière prolifique. Il collabore avec des musiciens comme Ornette Coleman, Sonny Rollins, Pharaoh Sanders, Archie Shepp, Larry Coryell et surtout son ancien complice Elvin Jones. Il enseigne aussi au "Bennington College" et à la Wesleyan University".
Il meurt d'un cancer en 1976.
