Pendant la Seconde Guerre mondiale, Schwammberger était le commandant de plusieurs camps de travail forcé autour de Cracovie (Pologne). Il tint ce poste du mois d'août 1942 jusqu'au printemps de l'année 1944.
De 1948 à 1987, il se cachait en Argentine. Enfin, il fut pris en 1987, et sa recherche coûta environ 500 000Deutsche Marks au gouvernement de l'état allemand de Bade-Wurtemberg.
Lors de son procès, qui dura presque un an, Schwammberger continua à nier les crimes qui lui étaient reprochés et la seule chose qu'il admit était que les résidents du Ghetto A furent envoyés au camp Przemyśl. Le , il fut condamné par la cour régionale (Landgericht) de Stuttgart à passer le reste de sa vie dans la prison de Mannheim. La cour le condamna pour 7 meurtres et pour avoir été complice de 34 autres.
En août 2002, la cour régionale de Mannheim refusa de lui donner un sursis, en raison de la grande cruauté de ses crimes (l'assassinat de plusieurs Juifs de façon arbitraire pour des motifs raciaux).
En 2003, sa femme Käthe Schwammberger mourut en Argentine, âgée de 87 ans. Josef Schwammberger lui-même mourut en prison le , âgé de 92 ans.
