Il est le fils de Jean Ier, comte Palatin et duc de Simmern (1459-1509), issu de son mariage avec Jeanne (1464-1521), fille du comte Jean II de Nassau-Sarrebruck. Contrairement à la coutume de l'époque, le prince reçoit une formation plus étendue dans le domaine scientifique que dans les exercices chevaleresques. Dans le domaine des sciences naturelles, des sciences politiques et du droit, Johann est considéré comme le prince le plus instruit de son temps. Nombreux sont les artistes et les savants auxquels il est lié.
L'empereur Charles-Quint tient Jean II en haute estime, ce qui fait que jusqu'à sa mort, il est juge à la Cour impériale de Spire et, à partir de 1523, statthalter (représentant de l'empereur en son absence) du gouvernement impérial.
Sous son règne, le duché de Palatinat-Simmern connait un âge d’or. C'est lui aussi qui probablement crée dans sa ville où il réside une école latine qui est attestée pour 1514. C’est d’elle qu’est né plus tard le Herzog-Johann-Gymnasium, qui porte son nom. En 1530, il installe une imprimerie au château de Simmern. Hieronymus Rhodler y travaille comme imprimeur. Parmi les produits les plus connus de cette imprimerie figure le livre des tournois de Georg Rüxner. Johann von Trarbach et un "Maître de Simmern" inconnu créent d'importantes tombes de la Renaissance qu'on peut voir dans l'église Saint-Étienne de Simmern.
Une politique habile permet à Jean II d’assurer la succession de la lignée palatine à son fils Frédéric III. C'est ce qui se produit en 1553 dans une compétition entre tous les chefs des lignées palatines à Heidelberg, lorsque la lignée de Neubourg avec l'électeur Ottheinrich est sur le point de s’éteindre. Dans cette compétition, Jean transfère une partie du comté de Sponheim, Lützelstein, Guttenberg et autres lieux à la maison de Palatinat-Deux-Ponts.
En 1555, peu avant sa mort, il abolit le servage pour les habitants de Simmern.
