Halevy nait sous le nom d’Ernst Levi à Weißenfels en Allemagne[1]. Il fait ses études aux universités de Freiburg, Göttingen et Berlin. Il immigre dans ce qui est alors le mandat britannique de la Palestine en 1933 après l’accession d’Adolf Hitler au poste de chancelier d'Allemagne. En Palestine, il étudie à l'université hébraïque de Jérusalem.
Halevy est magistrat à Jérusalem pendant la période du mandat, de 1938 jusqu'à la déclaration d'indépendance d'Israël en 1948, aux poste de district puis de président du tribunal de district de Jérusalem jusqu'en 1963, date à laquelle il est nommé à la Cour suprême d'Israël.
Halevy est le seul juge dans ce qui est devenu l’affaire Kastner, un procès en diffamation contre Malchiel Gruenwald, un hôtelier accusant Rudolf Kastner d'avoir été un collaborateur des nazis dans un journal fabriqué à la main. Halevy permet d'élargir la portée du procès et juge que Kastner a effectivement, selon lui, « vendu son âme au diable » (le diable étant Adolf Eichmann dans ce cas). Kastner est ensuite assassiné et la décision de Halevy en grande partie annulée par la Cour suprême.
Le procès provoque un débat enflammé dans l’opinion publique israélienne, qui se polarise entre les attitudes différentes du Mapaï et du Hérout vis-à-vis des occupants britanniques avant l’indépendance, et autour du scandale des judenrats. La manière dont il a mené le procès a été critiquée, et plusieurs hauts responsables ont tenté de le convaincre de ne pas présider le procès d’Eichmann. Mais Halevy s’accroche à la position qu’il a exprimée dans son verdict, estimant que l’opinion publique, le procès en appel et la classe politique étaient injustes envers lui. Devant son refus réitéré, la Knesset modifie la loi, sur proposition du président de la Cour suprême Yitzhak Olshan, pour s’assurer qu’il ne présiderait pas seul le procès Eichmann. Sa nomination à la Cour suprême est elle aussi retardée pour la même raison[2].
Halevy est le seul juge au procès des auteurs du massacre de Kafr Qassem, et dans sa décision, il écrit : « La marque distinctive d'un ordre manifestement illégal est qu'au-dessus d'un tel ordre devrait flotter, comme un drapeau noir, un avertissement disant : Interdit ! » et « Ce qui importe ici, écrivit-il, ce n’est pas l’illégalité formelle, obscure ou partiellement obscure, ce n’est pas l’illégalité qui ne peut être discernée que par les juristes, mais plutôt la violation claire et évidente de la loi… L’illégalité qui perce l’œil et révolte le cœur, si l’œil n’est pas aveugle et le cœur n’est pas impénétrable ou corrompu — telle est la mesure de l’illégalité manifeste nécessaire pour passer outre au devoir d’obéissance du soldat et lui imposer une responsabilité pénale pour son action. » Si plusieurs militaires sont condamnés à de longues peines d'emprisonnement, le chef de l'unité impliquée, Issachar Shadmi, est condamné à une amende d'un centime[3].
Il est plus tard juge au procès d'Adolf Eichmann avec Yitzhak Raveh et Moshe Landau.
En 1969, Halevy démissionne de la cour afin d'entrer en politique. Il est élu à la septième Knesset pour la liste Gahal (Bloc Herut-Libéral), et de nouveau à la huitième Knesset en 1973 après la fusion de Gahal avec le Likoud. Il quitte ensuite le parti pour siéger en tant qu’indépendant. Aux élections de 1977, il est réélu à la Knesset sur la liste de Dash, mais le parti se sépare au bout d'un an, et Halevy rejoint le Mouvement démocrate, avant de le quitter pour siéger à nouveau en tant qu'indépendant. Au cours de la neuvième Knesset, il est vice-président.
Aujourd'hui, une rue de sa ville natale Weißenfels porte son nom.
Il est marié pendant de nombreuses années à Luba. Ils ont un fils et une fille. Après la mort de Luba, il épouse Michal Halevy.
