Josef Wilhelm von Gallina est né à Graz dans une famille noble d'origine autrichienne italienne. Après des études à l'Académie militaire de Marie-Thérèse, il devient lieutenant en 1839. Puis en 1848, il entra à l'état-major général.
Il a pris part à la première guerre d'indépendance italienne, puis à la bataille de Custoza en 1866 avant de revenir en 1869 pour diriger l'état-major général jusqu'en 1874. Il a aussi été directeur du Telegraphen Korrespondantz Bureau et général de la 30e Division d'infanterie stationnée à Lemberg. Il a obtenu le commandement militaire de Cracovie . En 1873 il a été promu maréchal de lieutenant et chef de l'armée.
Il est mort à Vienne en 1883.
