John Mercer Johnson naît le à Liverpool, en Angleterre, mais passe toute sa jeunesse à Chatham, au Nouveau-Brunswick, où son père décide de s'installer. Il suit des études de Droit, est admis au Barreau en 1838 et devient avocat en 1840. Il ouvre un bureau d'avocat à Newcastle et s'associe avec divers autres avocats, dont Peter Mitchell, futur premier ministre du Nouveau-Brunswick.