Halpert est né à Cluj en Roumanie en 1939, Halpert est le petit-fils du rabbin Mordechai de Nadvirna et du rabbin Yaakov de Khoust. Il a étudié à l'Institut d'études talmudiques de Vyjnytsia, et a été ordonné rabbin. Il fait son aliya en 1960.
Halpert est élu à la Knesset en 1981 sur la liste d'Agoudat Israël. Toutefois, il a perdu son siège lors des élections de 1984. Il rentre à la Knesset aux élections de 1988, et est nommé au bureau du premier ministre en . En , il rejoint le ministère de la Prévoyance sociale.
Aux élections de 1992, Agoudat Israël a formé une alliance avec Degel HaTorah, qui comprenait un accord de rotation de sièges. Halpert a été élu à la Knesset, mais a servi seulement une demi-terme (jusqu'en 1994) dans le cadre de l'arrangement. Il conserve son siège servi aux élections de 1996 et aux élections de 1999, mais le perd aux élections de 2003. Aux élections de 2006, Halpert est élu à la Knesset sur la liste Judaïsme unifié de la Torah.
Comme beaucoup d'autres politiciens religieux en Israël, en 2006, il s'est opposé à la parade de la Gay Pride de Jérusalem[1]. Il a également provoqué des controverses en admettant frapper ses enfants au cours d'une réunion du comité de la Knesset et en appelant à la séparation des sexes sur la place du Mur des lamentations[2],[3].
