Né à Vaihingen en Wurtemberg, Johann Jacob Zimmermann étudie à l'université de Tübingen, où il rencontre Johann Jakob Schütz, personnage important d'un groupe de Francfort que l'on appelle les Piétistes du Saalhof (d'après leur lieu de réunion). Ce groupe est le premier en Allemagne à envisager une émigration vers le Nouveau Monde.
Johann Jacob Zimmermann est ministre luthérien de Bietigheim. Il se fait disciple de Boehme et publie un ouvrage mystique, Révélation presque complète de l'Antéchrist, qui lui fait perdre son ministère. Il erre ensuite, prêchant et faisant des prosélytes dans les Provinces-Unies et en Allemagne.
L'apparition de la comète de Halley en 1680 l'impressionne fort, d'autant que s'y ajoutent la prise de Strasbourg par les Français (1681) et l'avance des Turcs avec le second siège, dit Bataille de Vienne (1683); l'ensemble de ces éléments lui donne une impression de fin du monde programmée; il pense qu'elle interviendra en 1694 et épargnera l'Amérique.
En 1689, il réside à Hambourg, à la tête d'un petit groupe de dissidents appelé le Chapitre de la Perfection.
On a de lui, entre autres ouvrages:
Scriptura sacra Copernicans, ouvrage où il soutient qu'aucun passage de la Bible ne contredit le système de Copernic.
Muthmassliche Zeit-Bestimmung, où il prédit la fin des temps pour l'automne 1694, d'après une interprétation numérologique du livre de l'Apocalypse.
La qualité de ses autres travaux en astronomie et en mathématiques explique qu'il réussisse à convaincre des disciples de qualité, dont Johannes Kelpius.
Il meurt au moment de s'embarquer pour l'Amérique avec ses disciples. C'est donc sous la direction de Kelpius que se fait la migration. Le groupe est connu en Amérique en tant que disciples de Kelpius, ou en tant que Society of the Woman in the wilderness.
