Schefferus est né à Strasbourg qui est alors partie du Saint-Empire romain germanique. Il appartient une importante famille, les Scheffer. Il étudie à l'université de Strasbourg et brièvement à celle de Leyde et est fait en 1648 professeur skytteanus d'éloquence et de gouvernement à l'université d'Uppsala, poste qu'il occupe jusqu'à sa mort en 1679.
Schefferus passe une grande partie de son temps à étudier la philologie et l'archéologie. L'histoire du peuple Saami, Lapponia, (1673) est très lue en Europe mais n'est pas traduite en suédois avant 1956 (Lappland). Son livre publié à titre posthume en 1680, Suecia literata, est une bibliographie de l'histoire de la Suède.
Schefferus s'est engagé dans une querelle d'intellectuels, en particulier avec Olof Verelius (1618-1682) sur l'emplacement du Temple d'Uppsala. Il prétend que le temple devrait logiquement se trouvait près de l'emplacement actuel de l'église de la Sainte-Trinité (Helga Trefaldighets kyrka) d'Uppsala. Toutefois l'on sait que certains de ses adversaires utilisèrent des faux afin d'appuyer leur opinion. C'est l'explication la plus probable que des parties du célèbre texte écrit en gotique, le Codex Argenteus furent modifiées a posteriori.
En 1648, Schefferus épouse Regina Loccenia, la fille d'un ancien professeur skytteanus, Johannes Loccenius (1628-1642), dont il a deux fils.
