Il fait ses débuts en 1923 dans Der Waffenschmied (L'Armurier) d'Albert Lortzing. Sa carrière se poursuit au sein des opéras de Brème, Cologne et Berlin. Il s'y illustre notamment dans le rôle de Papageno dans La Flûte enchantée. En 1929, il fait des débuts remarqués au Covent Garden de Londres dans La Chauve-souris de Johann Strauss sous la direction de Bruno Walter. Il chante également à Bayreuth (rôle de Wolfram dans Tannhäuser) au début des années 1930.
En parallèle à la scène lyrique, il interprète régulièrement les lieder de Schubert et sera l'un des premiers chanteurs à enregistrer des cycles complets (Die Schöne Müllerin, Winterreise). Ces enregistrements feront aussitôt référence et marqueront l'histoire de l'interprétation des lieder en général.
Tombé en disgrâce à la suite de son comportement pendant la période nazie, il se consacre après la guerre essentiellement à l'enseignement.
