Ayant reçu quelques leçons de Robert Schumann dans sa jeunesse, Merkel passa la majeure partie de sa carrière à Dresde, se concentrant sur le jeu de l'orgue. Luthérien lui-même, il a néanmoins assuré le service de l'une des principales églises catholiques de Dresde de 1864 jusqu'à sa mort. Durant la même période, il enseigna l'orgue au conservatoire de Dresde.
Ses compositions comprennent neuf sonates pour orgue (qui ont été enregistrées plusieurs fois, et qui apparaissent fréquemment dans les récitals d'orgue), ainsi qu'une sonate pour deux organistes (son opus 30), et plusieurs douzaines de miniatures (beaucoup sont basées sur des mélodies protestantes). Dans ces œuvres, son style est fortement conservateur, très influencé par Mendelssohn, et avec des similitudes avec le travail de son jeune contemporain Josef Rheinberger. Il a aussi produit des pièces pour piano et de la musique chorale.
