Il étudie au Conservatoire national de musique à Paris auprès de Maurice Vieux (alto), Joseph Calvet (musique de chambre), Maurice Hewitt, Arthur Honegger (composition) et obtient en 1944 le premier prix d'alto ainsi que celui de musique en chambre en 1949.
Il commence ensuite une importante activité de chambriste : tour à tour membre du Quatuor Parrenin, du Quatuor à cordes de la Radiodiffusion française, du Quatuor Bernède ; il fonde en 1960 avec Gérard Jarry et Michel Tournus le Trio à cordes français qui fonctionnera pendant 32 ans. De 1957 à 1986, il est alto solo à l'Orchestre de l'opéra de Paris.
Très intéressé par la musique contemporaine, il participe jusqu'en 1970 aux concerts du Domaine musical (fondé par Pierre Boulez) et crée notamment la Sequenza VI, pour alto solo (1967) que Luciano Berio a écrite pour lui.
Très grand pédagogue, il a été de 1969 à 1989 professeur au Conservatoire national supérieur de musique de Paris et une grande partie des altistes français actuels y ont été ses élèves : Miguel da Silva, Pierre-Henri Xuereb, Sabine Toutain, Emile Cantor, Jacques Borsarello, Laurent Verney, Jean-Paul Minali-Bella ou encore Jean Sulem, qui lui succède en 1989 à ce poste.
On le retrouve également dans le monde entier donnant des cours dans diverses académies internationales ou au jury des grands concours (Munich et Genève, notamment).
Sa vie a fait l'objet d'un film documentaire intitulé L'Ouvrage de Serge Collot et réalisé en 2002 par Dominique Pernoo.
