Élevé dans la fois catholique, il est agronome de profession[1]. En 1919 il est élu maire de sa commune natale[1]. Adhérent au Parti populaire bavarois (centre-droit conservateur catholique), il est élu député de la circonscription de Franconie au Reichstag de la république de Weimar lors des élections législatives allemandes de 1920. Il y est ensuite continuellement réélu jusqu'à la prise de pouvoir par les nazis en 1933, et siège ainsi lors des huit législatures successives de la république[1]. En 1924 il devient par ailleurs président de l'Association des Agriculteurs de Basse-Franconie[1].
Après les élections législatives de mars 1933, il vote en faveur de la loi donnant les pleins pouvoirs à Hitler, comme le font tous les députés du Parti populaire bavarois et leurs alliés du parti Zentrum[3]. Il est arrêté par la Gestapo en lors de l'Aktion Gitter, l'arrestation en masse d'anciennes personnalités politiques et de syndicalistes après le complot du 20 juillet 1944[4]. Interné au camp de concentration d'Auschwitz, il est contraint début de le quitter et de marcher avec d'autres prisonniers vers le camp de concentration de Mauthausen, car l'armée soviétique se rapproche d'Auschwitz. C'est une marche de la mort destinée à tuer les prisonniers par épuisement, et Franz Herbert n'y survit pas[5].
Il est l'un des anciens députés commémorés par le Mémorial en souvenir des 96 membres du Reichstag assassinés par les nazis, devant le palais du Reichstag.
