Fils d'un pasteur[1],[2], il s'installe à Durban en Afrique du Sud en 1851 et de 1852 à 1860 explore toute la zone allant de Port Natal aux chutes du Zambèze en effectuant de nombreuses chasses qui le rendent célèbre[3]. Il laisse un récit de ses chasses : Du Natal au Zambèze, 1852-1860[4], publié dans la revue Le Tour du monde en 1863 puis chez Hachette en 1868 en version abrégée dans sa traduction française par Henriette Loreau, depuis régulièrement rééditée.
Jules Verne le mentionne au chapitre V de son roman Aventures de trois Russes et de trois Anglais dans l'Afrique australe et utilise son nom de manière erronée au chapitre XIV lorsqu'il écrit « Baldving »[5]. De même, dans le roman L'Étoile du sud, il emprunte à son récit le nom de Matakit, qui n'est autre qu'un des serviteurs de Baldwin, pour en faire un des personnages du roman, un jeune Cafre pour lequel Cyprien s'est pris d'affection et qu'il éduque comme un fils[6].