Il est né à Nashville, dans le Tennessee, fils de Samuella et John Wesley Work I[5], directeur d'une chorale d'église, dont certains membres faisaient également partie des premiers Fisk Jubilee Singers[7]. John Wesley Work a étudié à l'université Fisk, où il organisa des groupes de chant et étudia le latin et l'histoire. Il obtint son diplôme en 1895. Il enseigna ensuite à Tullahoma (Tennessee), étudia à l'université Harvard et travailla à la bibliothèque de Fisk avant de prendre un poste de professeur de latin et d'histoire à Fisk en 1904 [7],[5].
Il épousa Agnes Haynes en 1899. Travaillant avec son épouse et son frère, Frederick Jerome Work, il commença à recueillir des chants d'esclaves et des spirituals [8], qu'il publia ensuite sous le titre New Jubilee Songs as Sung by the Fisk Jubilee Singers (1901) et New Jubilee Songs and Folk Songs of the American Negro (1907). Ce dernier livre comprenait la première publication de Go Tell It on the Mountain, qu'il a peut-être contribué à composer[7],[5]. Ses autres chansons comprenaient Song of the Warrior, If Only You Were Here, Negro Lullaby et Negro Love Song. Il a également créé la maison d'édition musicale, Work Brothers and Hart[5].
En tant que directeur des Fisk Jubilee Singers, il était responsable de leur tournée chaque année. Cependant, à cause de représentations négatives envers la musique folklorique noire à Fisk, il fut contraint de démissionner de son poste en 1923. Il fut ensuite président de l'Université Roger Williams à Nashville jusqu'à sa mort en 1925 [7].
John et Agnes Work ont eu six enfants. John Wesley Work III (1901-1967) travailla également comme directeur des Fisk Jubilee Singers, ainsi que comme collecteur de chansons et compositeur.
