Ernst Gall fréquente le Gymnasium Fürst-Otto de Wernigerode et, à partir de 1907, étudie en France le droit à l'université de Grenoble et à la Sorbonne à Paris pendant deux semestres. À partir de 1908, il étudie l'histoire de l'art à l'université de Berlin; parmi ses professeurs figurent Heinrich Wölfflin et Adolph Goldschmidt. En 1915, il obtient son doctorat en histoire de l'art de Goldschmidt à l'université de Halle.
Après avoir participé à la Première Guerre mondiale en France, Gall obtient un emploi à l'Office des monuments de Halle. En 1920, il devient conseiller au ministère prussien de la culture à Berlin, chargé des questions orientales, de l'art moderne, de la préservation des monuments et des châteaux. En , il succède à Paul Hübner au poste de directeur de l'administration prussienne des palais et jardins d'État. En 1933-1934, il est suspendu pour un an en raison de son refus de rejoindre le NSDAP, mais il peut alors continuer à exercer ses fonctions. En 1945, il démissionne de cette fonction en raison de désaccords avec la puissance d'occupation soviétique. Après un bref passage en tant que conseiller pour les questions d'art et de préservation des monuments au siège américain à Berlin, il devient chef du département des musées du département du château de Bavière de 1946 jusqu'à sa retraite en 1953. En 1947, il devient professeur honoraire d'histoire de l'architecture à l'université de Munich.
L'historien de l'art Günter Gall (1924-2008) est son fils.
(de) Friedhild Andrea Anders, Schlösser in der Stunde Null: Die Berliner und Potsdamer Schlösser während der Kriegs- und Nachkriegszeit, Potsdam, , p.11-66.
(de) Matthias Noell, «Ernst Gall in der Normandie: Forschungsreisen, Fotografie und der „landschaftliche Dehio”», Zeitschrift für Kunstgeschichte, no67, , p.1-14 (lire en ligne[PDF]).