Calkin a obtenu son bachelor's degree à Columbia en 1933 et sa maîtrise en 1934 à Harvard, où il a soutenu en 1937 un Ph.D., dirigé par Marshall Stone[3]. En 1937[4], il a travaillé à l'Institute for Advanced Study avec Oswald Veblen et John von Neumann. Ensuite, il a été professeur assistant à l'université du New Hampshire et à l'Institut de technologie de l'Illinois.
Pendant la Seconde Guerre mondiale, Calkin a travaillé avec von Neumann comme assistant, par exemple sur l'analyse de la guerre des mines marines (participaient aussi Joseph Doob et Marshall Stone) ou sur les effets des ondes de choc des explosions et l'analyse probabiliste des modèles de bombardement. Dans cette fonction, il accompagna von Neumann en Angleterre et à Los Alamos, dans le cadre du projet Manhattan[5]. Il fut aussi associé aux débuts du développement de la bombe à hydrogène. En 1946, il quitta Los Alamos pour le Caltech, comme boursier Guggenheim.
Stanislaw Ulam, un collègue de Los Alamos, le décrit comme « grand, d'apparence agréable, avec plus de savoir-faire que la plupart des mathématiciens[6] ».
J. W. Calkin est le père de Brant Calkin[7], un militant écologiste du Nouveau-Mexique qui fut président du Sierra Club.