Nacido en Polonia, su familia se trasladó a Berlín cuando aún era niño. Tras graduarse en secundaria, se hizo aprendiz de electricista, actividad que terminó por convertirse en su profesión.
Hacia 1926, era ya un miembro activo de diferentes organizaciones juveniles izquierdistas y judías, y desde 1931 se convirtió en miembro de la Young Communist League of Germany (KJVD; «Liga comunista juvenil de Alemania»).
Tras la llegada al poder del Partido Nazi, comenzó, junto con su mujer Marianne Baum (9 de febrero de 1912 - 18 de agosto de 1942) y sus amigos Martin y Sala Kochmann, a organizar reuniones en las casas de Kochmann y de otros miembros para consensuar una línea de actuación contra la amenaza del nazismo. El grupo, que contaba con más de 100 miembros, la mayoría jóvenes judíos y muchos de ellos mujeres, nombró jefé a Herbert Baum. El grupo distribuyó públicamente panfletos contra el nacional-socialismo.
Durante 1940, Baum fue enviado a trabajos forzados en la construcción de motores eléctricos para Siemens-Schuckertwerke (hoy en día Siemens AG). Desde 1941, lideró un grupo de trabajadores forzados judíos en la planta, quienes, para escapar de la deportación a los campos de concentración, huyeron a los subterráneos de Berlín.
El 18 de mayo de 1942, el grupo provocó un incendio en una exposición antisemita y anticomunista preparada por Joseph Goebbels en el Lustgarten de Berlín denominada «El Paraíso soviético». En los días siguientes muchos de los miembros del grupo fueron detenidos y 28 de ellos fueron sentenciados a muerte. Baum y su mujer Marianne fueron arrestados el 22 de mayo. Herbert Baum murió en prisión después de excesivas torturas, y su mujer fue ejecutada en la Prisión Plötzensee dos meses después.
