Issu d'une famille aisée, il a reçu très tôt une formation en chant, à la guitare et au violon puis il se prend de passion pour le violoncelle sous l'enseignement de Philipp Schindlöcker (1753-1827). À 18 ans il rejoint l'orchestre de l'opéra de la cour. Peu de temps après il est nommé membre de la chapelle de la cour puis en 1834 virtuose impérial (Kammervirtuose). À partir de 1823 il est engagé comme professeur de violoncelle au Conservatoire de la Société des Amis de la musique. Il fait des tournées de concert en Allemagne et en Italie.
Joseph Merk était ami de Franz Schubert et de Frédéric Chopin. Chopin l'a rencontré à Vienne et a parlé de lui dans sa correspondance. Il lui a dédié l'Introduction et Polonaise en ut majeur op. 3 pour violoncelle et piano. Schubert a écrit en 1822 le quatuor vocal pour hommes "Geist der Liebe" (L'Esprit de l'amour) spécialement pour un concert donné par Merk.
Il a composé des œuvres de musique de chambre et pour orchestre qui n'ont pas eu une grande diffusion en dehors de l'Autriche. Son influence est plus sensible dans l'approfondissement de la technique du violoncelle, par ses élèves comme Karl Léopold Böhm, Anton Träg, Jacques Franco-Mendès et Franz Knecht. Parmi ses ouvrages pédagogiques on peut citer les 20 études opus 11 dédiées à Schubert.
