Junto con Mujer pastoreando su vaca y Las espigadoras, El hombre con la azada es una obra de Millet que arroja "una luz crítica sobre las condiciones del trabajo rural bajo el Segundo Imperio y explica el estatus a veces marginal [de Millet] en las instituciones de bellas artes del régimen".[6]
De inmediato se consideró que la pintura posee un subtexto político y/o filosófico. La crítica estadounidense Ednah Dow Cheney, en 1867, al analizar el respeto que la obra muestra por el trabajo físico y la clase trabajadora en general, escribió: «Conmueve el alma con todos los grandes problemas de la vida y el pensamiento. Habríamos confiado en Garrison o Wendell Phillips para que dieran conferencias en Charleston antes de la guerra, antes que haber puesto... al Trabajador a merced de los esclavistas».[7] En 1908, Gutzon Borglum y Walter Winans escribieron que no se trataba tanto de un hombre con una azada, sino de un «HOMBRE, DISCAPACITADO, luchando contra la naturaleza por el alimento, que la naturaleza solo le proporcionará mediante una lucha eterna».[8]
Según el crítico Robert Hughes, El hombre con la azada, Las espigadoras, El sembrador y El Ángelus de Millet fueron colectivamente «las obras de arte más populares de la nueva era de la producción en masa, difundidas por millones de grabados, postales, baratijas y parodias. El sembrador se convirtió en la Mona Lisa del socialismo, pero sirvió al capitalismo igualmente bien como emblema corporativo de sus propietarios, el Provident National Bank de Filadelfia».
La pintura inspiró el poema de Edwin Markham de 1898 "El hombre con la azada".[7]