Aux élections législatives allemandes de mai 1924, il entre au Reichstag comme député de la province de Prusse-Orientale[2],[1]. Il n'y siège pas longtemps; la législature ne dure que de mai à décembre, et en il est élu au Parlement prussien. En 1926 il se range avec l'opposition trotskiste au sein du Parti communiste, par opposition à la ligne officielle staliniste du parti; la branche du parti à Suhl le suit. Fin 1927, il annonce que le Volksville deviendra à l'échelle nationale le journal du mouvement trotskiste, et il est exclu du Parti communiste. Il co-fonde alors le Leninbund, parti communiste dissident, avec notamment Ruth Fischer, Werner Scholem et Hugo Urbahns. Au printemps 1928, il adhère à nouveau au SPD[1],[3].
Après l'arrivée au pouvoir des nazis en 1933, il est placé sous surveillance policière. Il prend néanmoins la tête d'un mouvement de résistance social-démocrate à Suhl. Sous couvert d'une association de randonneurs, il rencontre régulièrement d'autres résistants, et leur transmet notamment des informations obtenues en écoutant les émissions radio des forces alliées. Il coopère avec l'ancien député social-démocrate Paul Voigt, et établit des liens avec la résistance communiste[1],[4]. Dénoncé par un informateur, il est arrêté par la Gestapo avec quarante-six autres résistants allemands en . Il est incarcéré à Weimar, et condamné à mort en . Le , alors que l'armée américaine se rapproche de Weimar, les cent-cinquante-six prisonniers politiques de la Gestapo à Weimar sont emmenés en forêt de Webicht, où ils sont assassinés par les SS tôt le matin du [1],[4]. Son fils Karl Heym, né en 1902 et également membre de la résistance social-démocrate, est arrêté en mais parvient à s'évader et survit à la guerre[1].
