Debuta como actor en el cine y en el teatro. Tiene un papel en la pieza de teatro Les Casse-pieds (1948) de Jean Dréville, en las películas Orphée (1950) de Jean Cocteau o Le Gorille vous salue bien (1957) de Bernard Borderie. Pero es sobre todo en Italia que alcanza la fama con su papel en Los Vencidos de Michelangelo Antonioni.
Tras trabajar como becario a las órdenes de Luchino Visconti en la película Senso (1954) y de Federico Fellini en La strada (1954), escribe su primera película, La Tête contre les murs (1959) y ambiciona de filmarlo él mismo, pero el productor prefiere contratar al director Georges Franju. Mocky dirige su primera película el año siguiente con Les Dragueurs (1959). Desde entonces no paró de rodar.
En los años 1960 consigue seducir al público con comedias como Un drôle de paroissien (1963) o La Grande Lessive (!) (1968). Después de Mayo 68, se interesa por el género negro y rueda Solo (1969) en el que muestra un grupo de jóvenes terroristas de extrema izquierda, y L'Albatros (1971) que muestra la corrupción de la clase política.
Al principio, sus películas se dedicaron al levantamiento contra las restricciones impuestas por la sociedad. Más tarde será la farsa: en la película "Bonsoir", el indigente Alex (Michel Serrault) pretende ser un amante de la lesbiana Caroline (Claude Jade) para salvar su herencia contra sus parientes homofóbicos.
En los años 1980 vuelve a encontrar el éxito con una película que denuncia las derivas violentas de ciertos aficionados del fútbol, un año antes del drama del Heysel (À mort l'arbitre, 1984), y una comedia que denuncia las hipocresías alrededor de los peregrinajes de Lourdes (Le Miraculé, 1987). En los años 1990 y 2000, sus películas tienen menos éxito pero Jean-Pierre Mocky sigue rodando con el mismo entusiasmo.
Su cine, a menudo satírico y panfletario, se inspira de los sucesos sociales. Trabaja con muy pocos medios y rueda con rapidez. Dirigió a actores tan famosos como Bourvil (Un drôle de paroissien, La Cité de l'indicible peur, La Grande Lessive (!) y L'Étalon), Fernandel (La Bourse et la Vie), Michel Simon (L'Ibis rouge), Michel Serrault (doce películas entre las cuales Le Miraculé y À mort l'arbitre), Francis Blanche (cinco películas entre las cuales La Cité de l'indicible peur), Jacqueline Maillan (cinco películas), Jean Poiret (ocho films) y con las estrellas Catherine Deneuve (Agent trouble), Claude Jade (Bonsoir), Jane Birkin (Noir comme le souvenir), Jeanne Moreau (Le Miraculé) y Stéphane Audran (Les saisons du plaisir).
En 2010 recibió el prix Henri-Langlois por el conjunto de su carrera y el prix Alphonse-Allais en 2013. El Festival International du film Entrevues de Belfort en 2012 y la Cinémathèque française en 2014 le dedicaron una retrospectiva integral.
