Neumann naquit le à Gleiwitz dans la province de Silésie. Il vint à Berlin pour faire des études de physique et de chimie. Il y rencontra Adolf Anderssen contre lequel il joua de nombreuses parties à partir de 1860. En 1864, à Leipzig, il perdit un match contre Louis Paulsen (+3 –5 =3).
En 1864, Neumann et Anderssen fondaient la revue d'échecs Neue Berliner Schachzeitung, qu'ils éditèrent de 1864 à 1867 et qui parut jusqu'en 1871.
En 1865, Neumann remporta le tournoi de Berlin avec 34 parties gagnées sur 34 (premier tournoi remporté avec 100% des points dans l'histoire des échecs) et le tournoi du congrès de la fédération d'Allemagne de l'Ouest des échecs (Westdeutschen Schachbundes: WDSB) à Elberfeld (1865). En 1867, lors de sa première participation à un tournoi international, à Paris, il finit quatrième derrière Ignatz von Kolisch, Winawer et Steinitz; puis il battit en match Celso Golmayo (3-0), Simon Winawer (3-0) et Samuel Rosenthal (+5 –0 =6). Le sommet de la carrière de Neumann fut sa victoire au tournoi international d'Écosse à Dundee en 1867, devant Steinitz et Blackburne.
En 1869, alors qu'il s'était installé à Paris pour terminer ses études, Neumann battit à nouveau Rosenthal: 3,5 à 0,5 (+3 –1 =1) et 4,5 à 1,5 (+4 –1 =1). En , il fut frappé par une dépression nerveuse et interné dans un hôpital psychiatrique. En 1870, de retour en Allemagne, il sortit troisième-quatrième, ex æquo avec Blackburne, derrière Adolf Anderssen (qu'il battit 2-0) et Steinitz du tournoi international de Baden-Baden[1]. En 1872, à Altona, il finit deuxième derrière Anderssen. Des problèmes de santé mentale l'empêchèrent de disputer des tournois après 1872.
