Élève à Vienne de Moravec et Samohyl pour le violon, Weller s'est fait connaître comme jeune prodige de cet instrument. À l'âge de 17 ans, il devient membre de l'Orchestre philharmonique de Vienne, et premier violon à seulement 22 ans. Il reste à ce poste pendant 11 ans, période pendant laquelle il crée son propre quatuor à cordes, le Quatuor Weller, en 1959. Il étudie également la direction d'orchestre avec Karl Böhm et Horst Stein, recevant aussi les conseils de Josef Krips et George Szell. Ses débuts comme chef datent de 1968 à la tête de l'Orchestre philharmonique de Vienne. L'année suivante, il devient chef de l'Opéra d'État de Vienne.
Il enseigne la musique de chambre à l'Académie de musique de Vienne de 1964 à 1966. En 1971, il est directeur général de la musique à Duisbourg, puis, de 1975 à 1978, directeur artistique du Niederösterreische Tonkünstlerorchester de Vienne. Dès 1977, sa carrière se poursuit également au Royaume-Uni, où il dirige des orchestres prestigieux : le Royal Liverpool Philharmonic Orchestra à Liverpool (1977-1980), le Royal Philharmonic Orchestra à Londres (1980-1985). Entre 1991 et 1996, il est directeur musical du Royal Scottish Orchestra, à Glasgow, poste qu'il cumule avec la direction musicale de l'Orchestre symphonique de Bâle (1994-1996) et de l'Opéra de Bâle. En 1998, il devient chef invité permanent de l'Orchestre philharmonique royal de Flandre, à Anvers. De 2007 à 2012, il est le chef principal de l'Orchestre national de Belgique, à Bruxelles.
En 1998, il a dirigé à Londres la première exécution de l'unique mouvement de la Symphonie n° 10 de Beethoven, reconstitué par Barry Douglas. Parmi sa discographie, son intégrale des symphonies de Prokofiev, à la tête de l'Orchestre philharmonique de Londres (Decca, 1975-1979), demeure une référence.
