Erxleben est le fils d'un banquier de Coblence. Après une formation de chanteur, il étudie la théologie et la philosophie à Trèves, Vienne, Heidelberg, Innsbruck et Rome. Ordonné prêtre, il devient aumônier dans le diocèse de Trèves. Il est aumônier militaire lors de la Première Guerre mondiale, pendant laquelle il est blessé deux fois. Il s'installe ensuite à Berlin. Erxleben parle couramment le latin et le grec et devient professeur de langues anciennes au collège des Jésuites à Rome, et en outre professeur de religions comparées aux universités de Prague et de Vienne. Accessoirement, Erxleben est un expert de la culture asiatique et un excellent ténor.
L'espion de la Gestapo Paul Reckzeh le décrit dans un rapport comme «la force motrice des conversations défaitistes de la maison Solf»[1]. Erxleben est arrêté en et emprisonné au camp de concentration de Sachsenhausen, puis dans la prison de la Gestapo de la Lehrter Straße à Berlin. Il est libéré par les soldats soviétiques à la fin de la guerre. Son procès devant le Volksgerichtshof avait été planifié à plusieurs reprises, mais n'a pas eu lieu.
Très affaibli par la détention en camp de concentration et par les tortures de la Gestapo, Erxleben est aumônier à Müden (Mosel), où Heuss, à l'époque président de la République fédérale d'Allemagne, et Zuckmayer lui rendent visite en 1949. Il prend sa retraite en 1951 et décède en 1955 à Linz am Rhein. Selon sa volonté, il est inhumé à Müden.
