Il débute comme tueur pour les rackets dirigés par Lepke Buchalter, et devient l'un des plus proches collaborateurs de Buchalter, et dirige des opérations, ordonnant les assassinats. Weiss est actif dans le racket dans l'industrie du vêtement.
Quand Buchalter et Jacob Shapiro fuient la justice en 1937, Weiss reprend le poste de directeur laissé vacant et s'occupe des salaires et des finances des sociétés de Buchalter.
Le , lui et Charles Workman entrent dans un Palace à Newark et assassinent Dutch Schultz. Dans la bar du palace, Workman passe devant Weiss et ouvre le feu sur Schultz et ses trois associés. Tous sont mortellement blessés. Immédiatement après la fusillade, Weiss, craignant l'arrivée imminente de la police, s'enfuit en voiture. Il ordonne au chauffeur, Seymour Schechter, de partir sans Workman, resté pour achever Schultz dans les toilettes du restaurant. Workman doit retourner à New York seul, à pied.
L'enquête sur l'assassinat de Rosen reste au point mort durant quatre ans car la police ne connait aucun des liens entre Rosen et la mafia. Mais en 1940, Abe Reles est l'informateur du procureur de district William O'Dwyer. Reles charge Weiss et ses collègues dans cet assassinat et aide la police à éclaircir de nombreux autres meurtres.
Weiss fuit à Kansas City, sous le nom de James W. Bell, et s'y installé comme dirigeant d'entreprise minière, mais il est arrêté par des agents des stups en 1941 et est renvoyé à New York, où il est inculpé pour l'assassinat de Rosen.
Fin 1941, Buchalter, Weiss et Capone sont jugés par un jury dans la salle d'audience du juge de BrooklynFranklin Taylor, pour l'assassinat au premier degré de Joseph Rosen. Les renseignements fournis par Reles, et aussi par Albert Tannenbaum et Max Rubin, aboutissent à un verdict de culpabilité et la peine de mort pour chacun des trois accusés.
