Il fit ses études à l'Académie militaire de Sofia, tout en se consacrant déjà à l'activité journalistique.
De 1901 à 1909, il occupa les fonctions de rédacteur dans différents journaux: Le Journal (Вестник), Le Quotidien (Дневник), Le Temps (Време), la Tribune libre (Свободна трибуна). Il fut élu en 1907 premier président de la Société des journalistes de Sofia.
Il prit part aux Guerres des Balkans de 1912 à 1913. De 1913 à 1918, il devint le premier directeur de la presse.
Après l'écrasement de l'insurrection de , Herbst prit position contre la politique répressive du gouvernement d'Alexandre Tsankov (1923-1926). Dans ce cadre, il participa aux activités du Comité d'aide aux victimes des événements de septembre, en rédigeant notamment son bulletin.
Au cours de la période 1923-1924, il publia une revue (Appel aux hommes libres - Вик за свободни хора) et trois journaux: Écho du matin (Ек утринен), Écho du soir (Ек вечерен), Aujourd'hui (Днес).
Il fonda et dirigea le journal d'information illustré ABV (А.Б.В.), ainsi nommé d'après les trois premières lettres de l'alphabet cyrillique bulgare. Ce journal paraîtra un peu plus d'un an à partir de .
En polyglotte averti, Joseph Herbst développa également ses activités de rédacteur dans la presse étrangère, par l'envoi d'articles à des journaux allemands, autrichiens et roumains. Il traduisit des ouvrages et des articles en bulgare à partir du russe, de l'allemand, du français et de l'anglais.
En tant qu'écrivain, Joseph Herbst publia également un roman intitulé Hier, aujourd'hui et demain (Вчера, днес и утре). Il participa aussi à la création de la Société des écrivains et journalistes bulgares.
