Il participe à la fondation de la CSU en 1946 et entreprend rapidement un parcours d'élu local. Les élections régionales de 1954 le font élire au Landtag de Bavière. Il est nommé secrétaire d'État du ministère de la Justice en 1957, puis ministre de l'Intérieur après le scrutin de 1958.
À l'occasion des élections de 1962, il est chef de file des chrétiens-sociaux. Le résultat leur accorde la première de onze majorités absolues consécutives. Le parti franchit la barre des 50% des voix en 1970 et réalise son meilleur score historique quatre ans plus tard avec 62,1% des suffrages. Il se retire du gouvernement en 1978, après avoir accompli quatre mandats consécutifs et totalisé plus de quinze années au pouvoir, établissant là aussi un record.
Il est député européen entre 1979 et 1984, donnant à la CSU son résultat le plus élevé en voix. Il se retire de la politique à l'issue de son mandat.
Au cours de la Seconde Guerre mondiale, il sert comme soldat au cours de la bataille de France, avant d'être déplacé sur le front oriental pour combattre contre l'Union soviétique. Il passe les deux dernières années du conflit comme instructeur d'armes et de tactique à l'école d'infanterie Döberitz de Berlin.
Il se fait élire le préfet de l'arrondissement d'Aschaffenbourg, mais le ministère de l'Intérieur refuse de valider le scrutin, du fait de son ancienne appartenance au NSDAP. Il est nommé adjoint au bourgmestre d'Aschaffenbourg en 1952.
Ascension : ministre régional
À l'occasion des élections législatives régionales du , il est élu à 49 ans député au Landtag de Bavière. Il échoue, deux ans plus tard, à se faire élire bourgmestre de Wurtzbourg.
Réélu parlementaire au scrutin du , il devient ministre de l'Intérieur le suivant, dans le cabinet Seidel II. Il est maintenu à ce poste quand Hans Ehard doit reprendre la tête de l'exécutif régional, le .
Ministre-président de Bavière
Une solide majorité absolue
Pour les élections législatives régionales du , le président de la CSU Franz-Josef Strauß le choisit comme nouveau chef de file des chrétiens-sociaux. Avec un total de 47,5% des voix, la formation remporte 108 députés sur 204 au Landtag. Après douze années de gouvernement de coalition, la CSU peut à nouveau gouverner seule. Le , Alfons Goppel est investi ministre-président de Bavière et forme son premier gouvernement, dans lequel Hans Ehard est ministre de la Justice.
Il se présente pour un nouveau mandat lors du scrutin du . Malgré la percée du Parti national-démocrate d'Allemagne (NPD), la CSU progresse très légèrement à 48,1% des voix et 110 parlementaires sur 204. Les élections du constituent le premier succès d'ampleur pour les chrétiens-sociaux, un an à peine après la formation de la première «coalition sociale-libérale» fédérale. La CSU s'adjuge 56,4% des suffrages, soit 124 parlementaires.
Le , il prend pour un an la présidence tournante du Conseil fédéral.
Le record du quatrième mandat
À l'approche des élections du , il est investi pour tenter de remporter un quatrième mandat consécutif. Bien qu'il soit âgé de 69 ans et au pouvoir depuis déjà douze ans, il donne à la CSU une éclatante victoire. Le parti remporte 62,1% des voix et 132 élus, dont 100 des 104 circonscriptions du Land. Ce résultat est à la fois le meilleur de toute l'histoire de l'Union chrétienne-sociale en Bavière et le deuxième meilleur jamais obtenu par un parti dans une élection régionale allemande de l'après-guerre. Le , Alfons Goppel est donc investi pour un quatrième mandat.
Député européen et retrait de la politique
Lors des élections du , il cède sa place de chef de file à Franz Josef Strauß, président de la CSU et figure de la vie politique fédérale. Il renonce également à se présenter au Landtag. Toutefois, pour les élections européennes du 10 juin 1979, il accepte de mener la liste de la CSU. Le jour de l'élection, il obtient 10,1% des voix fédérales et 62,5% des suffrages régionaux, soit 8 députés sur 78 au Parlement européen, ce qui constitue en voix le meilleur résultat pour sa formation. Il ne siège qu'une législature, jusqu'en 1984, et participe au bureau du groupe du Parti populaire européen (PPE).
Retiré de la politique, il meurt la veille de Noël à Johannesberg à l'âge de 86 ans. Il reste à ce jour le seul ministre-président bavarois à avoir accompli quatre mandats complets, établissant un record de longévité au pouvoir dans le Land avec près de quinze ans et onze mois à la direction de l'exécutif.
Vie privée
Il est le quatrième enfant d'une fratrie de neuf, et est issu d'une famille d'industriels.
Il épouse Gertrud Wittenbrink en 1935, avec qui il a eu six enfants. L'un de ses fils, Thomas, sera député et ministre du Land.
Il est également l'oncle maternel de MgrKonrad Zdarsa, évêque d'Augsbourg.