Neumann nació en Forst (Lusacia) en una familia protestante. Su padre era propietario de una fábrica.
Después de terminar bachillerato, Neumann estudió derecho y economía en las universidades de Friburgo, Leipzig y Halle. Luchó en la Primera Guerra Mundial y alcanzó el grado de teniente primero (Oberleutnant). En 1920, ejerció como funcionario del gobierno civil en el Ministerio del Interior de Prusia y, posteriormente, en la Oficina de Distrito de Essen.
Neumann se convirtió en director senior (Regierungsrat) en el Ministerio de Comercio de Prusia en 1923. En 1927/28, fue nombrado presidente del distrito de Freystadt (Baja Silesia), luego actuó como subsecretario ministerial juvenil de nuevo en el Ministerio de Comercio de Prusia. En septiembre de 1932, fue nombrado secretario permanente en el Ministerio de Estado de Prusia, donde estuvo a cargo de las reformas administrativas.
Neumann se unió al partido nazi en mayo de 1933, cuatro meses después de que Adolf Hitler llegara al poder. Se unió a las SS en 1934, siendo comisionado como mayor. En 1936, fue nombrado director del Departamento de Moneda Extranjera de la Oficina del Plenipotenciario para el Plan Cuatrienal. En 1938, fue ascendido a subsecretario y asistió a la reunión de Hermann Göring sobre la "arianización" de la economía alemana. Representó a los Ministerios de Economía, Trabajo, Finanzas, Alimentación, Transporte, y Armamento y Municiones en la Conferencia de Wannsee de 1942. Neumann solicitó que los trabajadores judíos en empresas esenciales para el esfuerzo de guerra no fuesen deportados por el momento. Entre agosto de 1942 y mayo de 1945, fue el gerente general del Sindicato del Potasio alemán.
Fue detenido, encarcelado e interrogado por los Aliados en 1945, después de la guerra, pero fue liberado por razones de salud en 1948. Algunas fuentes sitúan su muerte en ese mismo año, sin embargo, los Archivos federales de Alemania señalan su muerte tres años más tarde, en Garmisch-Partenkirchen, el 23 de marzo de 1951.
