Il étudie au Conservatoire de musique de Darmstadt, mais ses études sont interrompues lorsqu'il est conscrit dans l'armée. Cependant, alors qu'il est en congé maladie de l'armée en 1942, il réussit à faire un début semi-officiel à Mayence, en Don Ottavio dans Don Giovanni, puis il rejoint l'armée. Après avoir été interné comme prisonnier de guerre en Angleterre, il rentre en Allemagne et reprend sa carrière en 1946 à Nuremberg, où il demeure jusqu'en 1952.
Il se joint à l'Opéra de Stuttgart en 1952, et la même année paraît au Festival de Salzbourg, où il crée le rôle de Mercure dans Die Liebe der Danae de Richard Strauss. Dès lors, il parait régulièrement à l'Opéra d'État de Bavière et à l'Opéra d'État de Vienne, puis en Suisse et aux Pays-Bas.
En 1954, il débute au Festival de Bayreuth, en Froh dans Das Rheingold, puis y retourne en Erik dans Der Fliegende Holländer, et en Stolzing dans Die Meistersinger von Nürnberg en 1957.
Josef Traxel possédait une voix souple à l'ample tessiture particulièrement dans l'aigu, qui lui permit d'aborder un vaste répertoire allant de Belmonte dans Die Entführung aus dem Serail à Siegmund dans Die Walküre. Il était admiré aussi comme soliste dans les oratorios de Johann Sebastian Bach. Il enseigna à Stuttgart à partir de 1963.
