Alfred Moïse Lévy est né à Lunéville en Lorraine, le . Il est le fils d'Abraham Lévy et de son épouse Adélaïde Israel. Il se marie avec Adèle Aron avec qui il a un fils Léon (1864-1909) et une fille Esther Noémie (1876-?).
Il est aumônier du collège à Lunéville (1869-1880), membre du conseil départemental de l'Instruction Publique dans le département du Rhône (1880-1886).
En 1907, il est le successeur de Zadoc Kahn à la tête du Consistoire central. Cette élection l'avait opposé à un autre candidat, Israël Lévi, qui le seconda quelques années plus tard: d'abord nommé grand rabbin adjoint en 1914, lors de la déclaration de guerre, Israël Lévi exerça de fait les fonctions de grand rabbin de France durant les deux dernières années que vécut Alfred Lévy, affaibli par la maladie. Il lui succède en 1920.
Homme de culture, Alfred Lévy écrit plusieurs ouvrages à caractère historique.
