Après des études en médecine, il se tourne vers le chant et fait ses débuts à Konigsberg en 1928. Il chante alors à Schwerin (1929-32), où il participe à la création de Friedmann Bach de Paul Graener.
Sa carrière démarre avec ses débuts à l'Opéra d'État de Berlin en 1932, où il s'affirme notamment dans les rôles mozartiens (Belmonte, Don Ottavio, Ferrando, Idomeneo, etc).
Il parait alors à l'Opéra de Vienne, au Festival de Salzbourg, à La Scala de Milan, à l'Opéra de Rome, au Palais Garnier à Paris, au Royal Opera House de Londres, au Festival de Glyndebourne, au Liceu de Barcelone, et en Amérique du Sud.
Un ténor lyrique à la fine musicalité et au style impeccable, Ludwig s'est également illustré dans le répertoire italien (Nemorino, Ernesto, Duc de Mantoue, Alfredo) et français (Wilhelm
Meister, Werther), ainsi que dans l'opéra léger allemand (œuvres de Otto Nicolai, Albert Lortzing) et l'opérette viennoise.
Après la guerre 1939-45, il parait surtout à Hambourg, puis se retire et enseigne à Berlin de 1955 à 1969. Il a laissé sur disque des intégrales de Die Entführung aus dem Serail, Die Lustigen Weiber von Windsor, Zar und Zimmermann.
