Fils du trompettiste et chef d'orchestre Georges Germain, José Germain apprend le chant, le piano, le violon et le saxophone, et monte un duo avec son frère, le compositeur, arrangeur, pianiste et chanteur Claude Germain.
Saxophoniste aux orchestres du Lido et du Moulin-Rouge, il a l'occasion d'accompagner de grandes vedettes internationales telles que Frank Sinatra ou Ella Fitzgerald lors de soirées de galas.
En remplacement définitif de Jean-Claude Briodin, il intègre en 1964 les Swingle Singers avant leur grande tournée américaine et l'enregistrement de leur troisième disque (Swinging Mozart), rejoignant ainsi son frère Claude et sa belle-sœur Anne Germain, cofondateurs du groupe. L'aventure du groupe dure dix ans, lui permettant de travailler avec les plus grands, tels que Leonard Bernstein, Luciano Berio, Duke Ellington, Modern Jazz Quartet, etc.
Il accompagne comme choriste de très nombreux artistes (Claude François, Gilbert Bécaud, Sheila, Pierre Bachelet, etc.), participe à la plupart des enregistrements de musiques de film de Michel Legrand comme soliste (le patron du café dans Les Parapluies de Cherbourg) ou choriste (Les Demoiselles de Rochefort, Peau d'âne, etc.) et prête sa voix à plusieurs personnages de dessins animés, dont le plus connu est certainement Scat Cat dans Les Aristochats (1970).
