Yehuda Leib est né en 1859, son père, Moishe Chayim, est le rabbin de Kozelets. Dès son jeune âge, il est considéré comme un prodige, et devient rabbin de Prylouky quand il n'a que dix-neuf ans. En même temps, il écrit en hébreu, yiddish et russe des articles dans différents périodiques, principalement sur des sujets de nature politique, traitant de la question juive. En 1898, il participe à la première conférence des sionistes russes à Varsovie. Dans un premier temps, il soutient le mouvement Mizrahi des sionistes religieux et demande aux sionistes séculaires de laisser les délégués religieux décider du programme éducationnel de l'ensemble du mouvement sioniste. Par la suite, il devient déçu du sionisme aussi bien religieux que séculaire et finalement, il quitte le mouvement devenant plus modéré.
La même année, il reçoit le titre de citoyen d'honneur de l'Empire russe. En 1912, il fait partie du noyau initial de responsables de communautés et de rabbins qui fonde le mouvement Agoudat Israel.
Après la Première Guerre mondiale
En 1918, la Bessarabie est rattachée au Royaume de Roumanie et Tsirelson est nommé grand-rabbin de Bessarabie. Il développe alors un système d'éducation juive, où l'hébreu tient un rôle important, commençant par le jardin d'enfants et se terminant par la Yechiva. De nombreux rabbins renommés étudièrent dans cette Yechiva, dont le futur rabbin de Rîbnița, Chaim Zanvl Abramowitz (1902-1995).
En 1920, Tsirelson parlant parfaitement le roumain, est élu pour représenter les Juifs de Bessarabie au parlement roumain à Bucarest. En 1922, il est le seul représentant juif bessarabien au parlement. Tandis que l'antisémitisme croit de façon importante en Roumanie, Tsirelson essaye au parlement de mettre en garde contre cette menace, mais les parlementaires, sur proposition du Ministre de l'Intérieur Octavian Goga, refusent de publier ses discours dans le journal du parlement. À la suite de cela, Tsirelson démissionne du parlement en 1926.
Dès 1920, il ouvre une section de Agoudat Israel à Kichinev, qui deviendra ultérieurement autonome. Il préside deux assemblées d'Agoudat Israel, en 1923 et 1929. En 1923, il défend vigoureusement l'idée de Daf Yomi de Meir Shapiro (étude d'une page du Talmud par jour).
La Seconde Guerre mondiale
En juin 1940, à la suite d'une clause secrète du Pacte germano-soviétique, la Bessarabie est annexée par l'Union soviétique. Tsirelson est alors ouvertement traité par les journaux procommunistes d'agent antisoviétique. Il meurt très probablement le , lors des premiers bombardements allemands de Kichinev, au début de l'opération Barbarossa.
