Baker nació en Whitechapel, en el East End de Londres. Era hijo de Julius Baker, un pintor de escenarios teatrales en Londres que murió en las islas Turcas en 1904, y sobrino de John Philip Stafford (1851-1899), un artista que también trabajó como dibujante para la revista Funny Folks. Stafford acogió al joven Baker como aprendiz de dibujante en su estudio de Fulham, donde se especializó en historietas, en primer lugar para adultos y más tarde para niños.
Aparte de sus cubiertas para Funny Folks, su trabajo apareció regularmente a finales del siglo XIX en Judge en los EE. UU., primero bajo el nombre de Frank Martin, y posteriormente firmando como J.S. Baker.[2] Desde 1902 su tira cómica en la sección Casey Court fue un gran éxito, y llegó a convertirse en el creador de varios de los más populares personajes de historietas para niños de la época eduardiana, incluyendo a Tiger Tim y The Bruin Boys.[3]
Participó regularmente en las Exposiciones de Verano de la Real Academia entre 1935 y 1960.[4]
Baker no debe ser confundido con su hijo Julius Stafford-Baker (1904-1988), quien llegaría a ser uno de los últimos dibujantes de las tiras de Tiger Tim, y que además sirvió como artista de guerra durante la Segunda Guerra Mundial para la Real Fuerza Aérea Británica, o con su otro hijo, también llamado Julius, fundador de la empresa Happy Dragons' Press. Debido a la coincidencia de los nombres, se han publicado muchas informaciones erróneas sobre ellos.[5]