Decker naît à Cologne, en Allemagne, où il étudie à la Hochschule für Musik und Tanz Köln avec Philipp Jarnach et Eugen Papst[2]. Il fait ses débuts en direction à l'âge de 22 ans à l'Opéra de Cologne, et quatre ans plus tard il fut nommé au Hessisches Staatstheater de Wiesbaden et conséquemment dans les postes de chef d'orchestre du Wiesbaden Symphony Orchestra et de Generalmusikdirecktor à Bochum. En 1948, Decker fut présenté au compositeur Richard Strauss lors d'une partie de whist. Strauss a mentionné en passant qu'il venait tout juste de finir l'orchestration de quatre mélodies qu'il avait récemment composées (les Vier letzte Lieder).
Decker était renommé pour sa maîtrise et son approche de la musique de Richard Wagner, Richard Strauss, Anton Bruckner, Max Reger et Gustav Mahler[3]. Ses interprétations des œuvres de Wolfgang Amadeus Mozart, Joseph Haydn et Ludwig van Beethoven ont été appréciées pour leur équilibre et leur clarté. Son approche de la musique espagnole et d'Amérique du Sud était audacieuse et charismatique. Il a dirigé les créations mondiales de douzaines de pièces orchestrales de compositeurs canadiens, et dirigé 85 opéras différents durant sa carrière.
