Erwin Madelung a grandi à Bonn, à Rostock et à Strasbourg, où son père Otto Madelung (1846–1926) était directeur de la clinique de chirurgie de l'université avant que l'Alsace ne redevienne, en 1918, un territoire français. Il est allé au renommé Protestantisches Gymnasium, Lycée protestant de Strasbourg, qui devait produire quelques autres personnalités, comme l'a remarqué le lauréat du Prix Nobel de physique de 1914, Max von Laue, dans son autobiographie. Erwin Madelung est le petit frère du chimisteWalter Madelung(de) (1879–1963) et le grand frère de l'ingénieur en aéronautiqueGeorg Madelung (1889–1972). Sa demi-sœur Tussa (ou plus exactement Auguste Eleonore) Madelung maria en 1922 un collègue d'Erwin à Göttingen, le physicien expérimentalRobert Wichard Pohl (1884–1956).
Erwin Madelung a étudié la physique à Kiel, à Zurich et à Strasbourg et obtenu en 1905 son doctorat en physique à l'Université de Göttingen sous la direction de Hermann Theodor Simon(de) (1870–1918), se spécialisant dans la structure cristalline. Après un voyage autour du monde qui dura presque un an, il revint à l'Université de Göttingen et travailla essentiellement sur la structure des solidescristallins. En 1908, il devint l'assistant de Eduard Riecke(de). En 1912, il devint professeur à Göttingen. C'est à cette époque qu'il développa la constante de Madelung qui caractérise l'effet électrostatique de tous les ions présents dans un cristal pour déterminer l'énergie d'un ion.
Magnetisierung durch schnell verlaufende Stromvorgänge mit Rücksicht auf Marconis Wellendetektor, (Magnétisation par courant intense concernant les détecteurs d'onde de Marconi). Göttingen, Univ., Phil. Fak., Diss., 1905.
Die mathematischen Hilfsmittel des Physikers, (Les mathématiques en aide aux physiciens), Springer Verlag, Berlin 1922. Éditions subséquentes: 1925, 1935, 1950, 1953, 1957, 1964.
