Estudió medicina en Leipzig y Zúrich. En 1870, participó en la guerra franco-prusiana como médico. En 1872, von Bary se trasladó a La Valeta para preparar una expedición a través del desierto del Sáhara hasta la actual Nigeria, la cual emprendería varios años después. Interesado por el estudio de las ciencias naturales, en otoño de 1875 viajó desde Trípoli hasta las montañas cercanas a la ciudad libia de Garian.[1]
En agosto de 1876, von Bary emprendió un nuevo viaje, esta vez a la zona montañosa argelina de Tassili n'Ajjer. En octubre, llegó a la ciudad de Ghat, que había sido ocupada por tropas turcas. Para no despertar sospechas entre los tuareg del interior, von Bary se hizo pasar por médico turco. En enero de 1877, avanzó hacia el sur hasta las montañas de Air, ya en territorio de Níger. Su intento de seguir los pasos de Heinrich Barth adentrándose en Sudán hasta el Califato de Sokoto fracasó, debido a la oposición de los tuaregs, quienes pensaban que era un espía turco y temían que el Imperio Otomano se apoderara de sus tierras.[1]
En el otoño de 1877, regresó a Ghat y falleció repentinamente. Se ha especulado repetidamente sobre si von Bary fue asesinado, pero las anotaciones de su diario indican que padecía una grave enfermedad y agotamiento.[1]
La escritora de viajes y traductora Erica de Bary, quien permaneció en Ghat durante largos periodos, publicó su diario de viaje con el título Sahara-Tagebuch 1876–1877. [2]