Il était l’aîné des trois enfants du médecin Hermann Carl Mark et de sa femme Lili (née Müller) ; son père, d'origine juive, était passé au luthéranisme en se mariant[2]. Dès son plus jeune âge, il s’intéressa aux sciences naturelles - fortement influencé par son professeur Franz Hlawary qui lui enseignait les mathématiques et la physique. À l’âge de 12 ans, il visita les laboratoires de l’université de Vienne avec un ami dont le père y enseignait les sciences naturelles. Cette visite les stimula et tous deux firent des expériences avec des produits chimiques que leurs pères leur procuraient.
Son diplôme d’études secondaires obtenu, Hermann Mark servit d’abord comme officier dans l’armée austro-hongroise pendant la Première Guerre mondiale, affecté au régiment impérial n° II, il reçut une très haute décoration. C’est aussi au cours de la Première Guerre mondiale - pendant un congé de convalescence dû à une blessure au combat – qu’il commença à étudier la chimie à l’université de Vienne avant d’obtenir finalement son doctorat en chimie « summa cum laude » en 1921. Cette même année, il passa à l’université de Berlin comme assistant de Wilhelm Schlenk, son directeur de thèse, qui avait succédé au prix Nobel Emil Fischer. Un an plus tard, Fritz Haber, découvreur de la synthèse de l’ammoniac et directeur de l’Institut Kaiser Wilhelm de chimie physique et d’électrochimie (KWI, aujourd’hui Institut Fritz-Haber de la Société Max-Planck), l’invita à travailler au nouvel Institut Kaiser Wilhelm de chimie des fibres ; il s’installa alors à Berlin-Dahlem avec Mimi, son épouse.
Au KWI de Berlin, un groupe de scientifiques particulièrement brillants étudiait les structures des fibres moléculaires à l’aide des nouvelles méthodes de diffraction des rayons X et de l’ultramicroscopie. Rapidement ils se rendirent compte que la diffraction des rayons X était l’outil qu’il fallait pour étudier la structure des cristaux. Les cinq années qu’Herman Mark passa à Berlin, lui permirent de devenir un expert en cristallographie.
En 1926 Kurt Heinrich Meyer, directeur du laboratoire de recherche de l’I.G. Farbenindustrie (plus tard BASF) à Ludwigshafen, lui proposa un poste de directeur de recherche adjoint. Pendant cinq ans environ il poursuivit avec Kurt Mayer ses recherches en radiographie pour mieux comprendre la structure des polymères (soie, chitine, caoutchouc, cellulose, etc.). L’idée avancée par Hermann Staudinger que des substances comme la cellulose et la fibroïne de soie sont constituées de molécules à longue chaîne (les macromolécules) était à l’époque très controversée, et encore âprement combattue en 1928 par Mark et Meyer (selon la théorie de Mark à l’époque la cellulose est constituée de chaînes d’environ 30 à 50 molécules de glucose, et que 40 à 50 de ces chaînes environ forment des micelles). Staudinger considérait la cellulose comme un produit analogue au polyoxyméthylène[3], idée qui lui valut à l’époque de vives critiques, car on regardait généralement le caoutchouc, par exemple comme un mélange colloïdal d’unités plus petites liées par les forces de van der Waal. La position moyenne prise par Mark et Meyer les impliqua dans une controverse acharnée avec Staudinger[4]. C’est vers 1935 seulement qu’ils finirent par se rallier complètement à la théorie de Staudinger sur les macromolécules. En 1934, Mark publia un travail de pionnier en collaboration avec Eugene Guth sur la théorie cinétique de l’élasticité des polymères[5]. Vers 1930, Linus Pauling visita le laboratoire de Mark et Meyer et en fut très impressionné.
