Il vient de la vieille famille noble du sud de l'Allemagne des Freyberg(de). En 1694, il a terminé ses études secondaires au lycée jésuite de Munich(de). De 1695 à 1700, il étudie la théologie au Collegium Germanicum de Rome, où il est ordonné prêtre en 1699. Il est curé de deux paroisses en Bavière jusqu'en 1711. En 1711, il devient chanoine d'Eichstätt et en 1722 il est accepté dans le chapitre de la cathédrale. Il a une vie pieuse et renfermée.
En 1736, à 62 ans, il est choisi comme candidat préféré de l'empereur Charles VI et élu prince-évêque d'Eichstätt comme candidat opposé au prévôt Marquard Wilhelm von Schönborn et consacré le . Il promeut les ordres, comme les jésuites, à qui il fait don du maître-autel de l'église des Saints-Anges-Gardiens(de) en 1739, les sœurs bénédictines de l'abbaye Sainte-Walburge(de), les sœurs de l'abbaye du Sacré-Cœur(de), à l'église de laquelle il fait don de 12 000 florins en 1755 et les franciscains, à qui il donne la permission de construire un monastère à Ellingen en 1738 et où il consacre personnellement l'église abbatiale le . En 1738, il fait don du maître-autel de l'église Saint-Quirin d'Ammerfeld(de). Dans le Haut-Palatinat, redevenu bavarois, il établit les paroisses de Sulzbürg et Pyrbaum. Un événement majeur au cours de son mandat est la célébration du millénaire du diocèse en , lorsque l'autel de Willibald de style rococo est érigé dans la cathédrale. À l'occasion de son jubilé de 50 ans de prêtre, il fait ériger par Matthias Seybold(de) un nouveau maître-autel dans le chœur oriental (déménagé en 1883 dans l'église Notre-Dame-de-l'Assomption de Deggendorf(de). En 1748, Seybold se voit confier par lui la reconstruction et la transformation baroque de l'alleu de Cronheim(de), qui avait déjà brûlé en 1632. En 1739, sur le Frauenberg au-dessus d'Eichstätt, il fait construire une chapelle du Frauenberg(de) en pierre par son architecte de la cour Gabriel de Gabrieli(de) à la place de la chapelle en bois.
De 1736 à 1740, il y a des négociations, des protestations et des disputes entre le prévôt von Schönborn et le chapitre de la cathédrale d'une part et le prince-évêque d'autre part. Lorsque les droits du chapitre de la cathédrale sont violés par des fonctionnaires du prince-évêque, un processus a lieu jusqu'en 1753, est présenté à Rome et se termine par la victoire du chapitre de la cathédrale. La délimitation de la souveraineté ecclésiastique et de l'autorité de l'État au tribunal impérial du district de Hirschberg et le déménagement de l'université d'Ingolstadt à Eichstätt, temporairement planifié en raison de la guerre de Succession d'Autriche en 1742, sont sources de conflits.
Le prince-évêque Johann Anton von Freyberg meurt à l'âge de 83 ans le lendemain d'un accident vasculaire cérébral et est enterré le dans le chœur Willibald de la cathédrale d'Eichstätt. Les principaux héritiers de l'évêque sont les orphelins d'Eichstätts, car il laisse 40 000 florins pour la construction d'un orphelinat.
