Zvee Hirsh Yosef ben Reb Yankel Mendel Halevi Scooler naît à Kamianets-Podilsky dans l’Empire russe (actuellement en Ukraine). Bénéficiant d’une éducation juive traditionnelle, il apprend également l’hébreu. Émigré avec sa famille aux États-Unis en 1912, il se produit quatre ans plus tard pour la première fois sur la scène d’un théatre hébraïcophone amateur, et rejoint rapidement la troupe du Yiddish Art Theatre menée par Maurice Schwartz. Après de nombreux rôles de théatre yiddish, il apparaît en 1926 dans We Americans pour son premier rôle anglophone, et fait un rapide passage à Broadway en 1928 dans The Command Performance.
En 1932, il apparaît dans Uncle Moses qui deviendra un classique du cinéma yiddish américain. Il débute surtout une chronique hebdomadaire à la WEVD, une station yiddishophone new-yorkaise, où il présente jusqu’à sa mort un billet d’humeur en rimes qui lui vaut le surnom Der Grammeister (« le maître de la rime ») par lequel il sera dorénavant connu.
S’étant laissé pousser une longue barbe blanche, il reçoit fréquemment des rôles de « Juifs à barbe » à la scène comme sur les planches. Renouant avec Broadway en 1964 pour Un violon sur le toit, il joue pendant huit ans l’aubergiste, avant de camper le rabbin dans le film homonyme de 1971 ; c’est probablement ce rôle qui lui est actuellement le plus souvent associé.
Il continue ensuite à apparaître dans des films tels qu’Hester Street ou L’Élu, faisant aussi de la figuration (non-créditée) dans Les Aventures de Rabbi Jacob avant de retrouver un rôle de plus grande envergure dans Guerre et Amour, où il joue le père du protagoniste.
