Nacido en Berlín, realizó sus estudios musicales en Tel Aviv y en la Juilliard School de Nueva York con Ivan Galamian, donde recibió un diploma especial de posgrado en Música de Cámara creado específicamente para él.
Fue fundador y primer violinista del Cuarteto LaSalle, que en 1949 se convirtió en cuarteto en residencia del Colorado College. Después, en la Universidad de Cincinnati, Levin fue profesor de violín y música de cámara durante treinta y seis años.
Entre sus alumnos se encuentran los cuartetos Alban Berg, Prazak, Artis-Viena, Vogler y Artemis. Con el Cuarteto LaSalle, realizó giras de conciertos por todo el mundo y grabó una extensa discografía en exclusiva para el sello Deutsche Grammophon, con la que ganó el premio Deutsche Schallplatten y el Grand Prix du Disque.
El repertorio del Cuarteto incluye obras escritas para ellos por Luigi Nono, György Ligeti, Witold Lutoslawski, Mauricio Kagel y otros compositores. Desde el último concierto del Cuarteto LaSalle, en mayo de 1987, Walter Levin estuvo trabajando con jóvenes cuartetos de cuerda en Festivales y cursos por toda América y Europa.
En 1991-92 fue nombrado miembro del Wissenschaftskolleg de Berlín. Es autor de varias publicaciones, como «Immigrant Musicians and the American Chamber Music Scene» (1930), «Verfemung der Atonalität-Gedanken eines Quartettspielers» (1990), y artículos en Musik Konzepte sobre la Suite lírica de Alban Berg, el Cuarteto op. 2 de Adorno y La problemática relación entre Schönberg y Adorno.
Participó en varias producciones para la televisión, como «Une leçon d’interprétation pour Quatuor à Cordes de Walter Levin» (1977) para Muzzik o «Ma Vie-Mein Leben», una coproducción ARTE y ZDF emitida en 2002.
En sus últimos años fue Asesor y profesor Invitado del Departamento de Cuerdas del Instituto Internacional de Música de Cámara de Madrid en la Escuela Superior de Música Reina Sofía.
