Saville Sax naît à New York de parents juifs émigrés de Russie. Son père Bernard Sax (ou Sachs) 1896-1936, qu'il perd à l'âge de douze ans, avait des idéaux de gauche, et sa mère Bluma 1895-1986, travaille pour une organisation communiste d'entraide à la Russie soviétique intitulée Russian Ware Relief et dirigée par Fred Myers.
Le nom de code de Saville Sax est Oldster et il se rend régulièrement pendant la guerre dans le Nouveau-Mexique pour collecter les documents remis par Theodore Hall sur le projet Fat Man qu'il donne ensuite à son officier traitant. Il est lui-même communiste convaincu.
Il change souvent de travail après la Seconde Guerre mondiale et termine sa carrière dans un programme d'éducation, intitulé Nextep et lancé dans le cadre de la grande société de Johnson. Il meurt en 1980.
Saville Sax était le père de Boria Sax, historien, écrivain et consultant pour différentes organisations de défense des droits de l'homme, dont Amnesty International et Human Rights Internet, et professeur au Mercy College (New York). Saville Sax était aussi le frère d'Anne Saville Arenberg (1925-1967).
