Joe Locke est un vibraphoniste jazz (hard bop/post-bop). Ses principales influences sont Bobby Hutcherson et Milt Jackson.
À l'âge de huit ans, il joue du piano et de la batterie. Il change pour le vibraphone à l'âge de 13 ans. Durant son adolescence, il étudie avec le pianiste Phil Markowitz et le bassiste Steve Davis. Comme tant d'autres musiciens de sa génération, Locke emménage à New York en 1981. Au fil du temps, il devient un "sideman" pour Kenny Barron, Freddy Cole, Jerry Gonzalez et plusieurs autres.
À la suite d'une tournée au Japon dans les années 1990, il est employé par Eddie Henderson et Dianne Reeves. À quatre reprises, il fait une tournée en Russie accompagné du saxophoniste Igor Butman. Ses premiers enregistrements en tant que "leader" se font sur l'étiquette danoise Steeple Chase. Par la suite, il se joint à la maison de disques Milestone. Ses plus récents projets se font avec Geoffrey Keezer sous l'étiquette Origin.