Jimmy Knepper commence sa carrière en jouant dans les big bands de Freddie Slack (1947), Roy Porter (1948-1949), Charlie Spivak (1950-1951), Charlie Barnet (1951), Woody Herman et Claude Thornhill.
Entre 1957 et 1962, il est membre de plusieurs formations du contrebassiste Charles Mingus. La collaboration est particulièrement fructueuse... Même si le tromboniste doit parfois souffrir du caractère pour le moins excessif du leader. On peut entendre Knepper sur les albums The Clown, Tijuana Moods East Coasting, A Modern Jazz Symposium of Music and Poetry (1957), Blues & Roots, Mingus Ah Um, Mingus Dynasty (1959), Pre-Bird, Reincarnation of A Love Bird (1960), Tonight at noon (1961).
En 1962, alors qu'il se préparait pour un concert à New York, Knepper, frappé par le contrebassiste, perd un fragment de dent[1]. Cette blessure l'empêchera de jouer dans le registre supérieur de son instrument pendant plusieurs années. Mingus écope d'une peine avec sursis pour "Third-degree assault". Cet incident scelle la fin de la collaboration entre les deux hommes. Knepper jouera cependant de nouveau avec Mingus dans les années 1970[2]
Durant la même période 57-62, Knepper travaille aussi chez Stan Kenton (1959), Herbie Mann (en 1960, pour une tournée en Afrique), Gil Evans, Benny Goodman (en 1962, pour la fameuse tournée en URSS organisée par le Ministère des Affaires Étrangères). Il enregistre par ailleurs quelques albums sous son nom.
À la fin des années 1960, il est essentiellement musicien indépendant. Il joue, entre autres, dans des orchestres accompagnant des comédies musicales de Broadway. De 1968 à 1974, il est membre du Thad Jones/Mel Lewis Orchestra, le big band de Thad Jones et Mel Lewis. Durant la même période, il joue avec le Lee Konitz Nonet et le groupe Mingus Dynasty.
Dans les années 1980/90s, Knepper, de nouveau musicien "free lance", se produit essentiellement en Europe. Il est par ailleurs membre "régulier" de Mingus Dynasty.
Début 2000, il est atteint de la maladie de Parkinson. Il décède en 2003.
