Erwin Müller passe les premières années de sa vie à Duisbourg, où il est scolarisé. En 1920, il déménage avec sa famille à Sarrebruck. Il fréquente le lycée de la ville, puis étudie le droit à Francfort, Berlin et Göttingen. Il est membre, dès 1924, de l'association d'étudiants catholiques K.D.St.V. Badenia de Francfort-sur-le-Main. Il passe les deux examens juridiques d'État en 1929 et 1933. Il est ensuite juge au tribunal de Sarrebruck, puis, dès 1934, avocat. Pendant la Seconde Guerre mondiale, il combat en Scandinavie. Il est fait prisonnier en et libéré à la fin de la guerre.
Avant la réunification de la Sarre avec l'Empire allemand en 1935, Erwin Müller est membre du Zentrum et, en Sarre, du Front allemand. Après la guerre, il est actif politiquement au niveau communal à Sarrebruck et, dès 1946, il est directeur de la commission administrative de la Sarre. Désormais membre du Parti chrétien populaire de Sarre (CVP), il siège en 1947 à l'Assemblée législative de Sarre et est ensuite membre du parlement régional de 1947 à 1955. De 1947 à 1950, il est également chef du groupe du CVP au parlement régional. Il exerce également les fonctions de Ministre de la justice dans le cabinet Hoffmann II (1951-1952), Ministre des finances et des forêts dans le cabinet Hoffmann III (1952-1954), puis à nouveau Ministre de la justice dans le cabinet Hoffmann IV (1954-1955). Il a également représenté la Sarre autonome au Conseil de l'Europe (1950-1955) et à l'Assemblée commune de la Communauté européenne du charbon et de l'acier (1952-1955). Il dirige également le Comité national olympique de Sarre de 1950 à 1957.
