Julius Rudel inició su carrera musical en la Hochschule für Musik de su ciudad natal, hasta que emigró a los Estados Unidos en 1938, huyendo del régimen nazi. En América estudió en la Escuela de Música Mannes, en la New School de Nueva York.
En 1943 se empleó como repetidor en la recién creada New York City Opera, y al año siguiente debutó como director de orquesta en la misma compañía, con Der Zigeunerbaron. Desde 1957 hasta 1979 ejerció como director artístico del teatro, abarcando un amplio repertorio, desde Monteverdi hasta Janacek. Durante muchos años formó una fructífera asociación artística con la primera soprano de la compañía, Beverly Sills. Rudel dirigió en 1966 la apertura de la nueva sede de la compañía, en el Lincoln Center, con Don Rodrigo, de Alberto Ginastera, en la que un joven Plácido Domingo disfrutó de uno de sus primeros éxitos internacionales.
Asimismo, desde 1962 hasta 1976 fue también director artístico en el Festival Caramoor, en Nueva York. Fue el primer director musical del Kennedy Center y del Wolf Trap Festival, en Washington D. C., desde 1971 hasta 1975. En 1979 aceptó la dirección titular de la Buffalo Philharmonic Orchestra, puesto que mantuvo hasta 1985.
Comno director invitado, dirigió producciones en el Met, Colón de Buenos Aires, Ópera Lírica de Chicago, Ópera Alemana de Berlín, Teatro Real de Madrid, etc.
Dispone de una amplia discografía de grabaciones operísticas, de autores como Haendel, Mozart, Massenet, Weill, Offenbach, Charpentier, Boito, Bellini, Verdi o Donizetti, muchas de ellas junto a Beverly Sills.
