Ludwig Philippson est le fils de Moses Philippson, homme de lettres hébraïque de Dessau. Son père meurt en 1814, il laisse aussi orphelin un frère Phöbus Moses. De 1815 à 1824, il étudie à la Franzschule für Hebräische und Deutsche Sprache, entre autres auprès de Gotthold Salomon. Il est admis à l'école latine à Halle le . Après l'examen de fin d'études secondaires, Philippson étudie la philosophie à Berlin et assiste à des conférences de Hegel, Steffens et surtout de la philologie classique d'August Böckh. Il publie ses premières œuvres sous le nom de son frère. Après des études, il poursuit une activité dans le domaine de la philologie en France et est ensuite appelé en tant que prédicateur et enseignant par la communauté de la synagogue de Magdebourg en . En 1839, il devient rabbin.
Ludwig Philippson vient le dans la nouvelle synagogue d'Eisleben puis le dans la synagogue de Magdebourg. Son travail le plus significatif est la traduction de la bible hébraïque et la fondation de l'Institut biblique israélite en 1859. Cette traduction façonnera les pratiques religieuses juives, en particulier en Empire allemand, jusqu'au XXesiècle.
En 1837, il fonde l'Allgemeine Zeitung des Judentums, porte-parole du judaïsme réformé allemand, dont il est l'éditeur du jusqu'à sa mort. Il appartient en 1839 à la Société des Amis. En , il fonde l'Institut pour la promotion de la littérature israélite, qui en 18 ans publie environ 80 ouvrages en allemand, y compris des travaux de la science juive, la poésie et l'histoire juive, comme sept volumes de l'historien Heinrich Graetz sur l'histoire des Juifs. En 1855, l'institut est interdit par le gouvernement de l'empire d'Autriche, et Philippson, qui est en visite à Milan en 1858, est expulsé du territoire de l'empire.
Il prend sa retraite en à cause d'une cécité presque complète et se retire à Bonn en tant que rabbin honoraire. Il continue à être un écrivain et un publiciste pour l'émancipation de la population juive d'Allemagne. Il traduit non seulement des textes théologiques, mais aussi publie des livres importants mettant l'accent sur l'exégèse et l'homilétique.
La deuxième fille de son premier mariage sera l'épouse du rabbin Meyer Kayserling. Son fils, l'historien Martin Philippson, prend la présidence en 1896 de la Deutsch-Israelitischen Gemeindebundes. Son fils cadet est le géographe Alfred Philippson.
