La carrière en club de Heffernan coïncide avec une période glorieuse du club dublinois de St Vincents GAA. En football gaélique, le club a gagné ces années là 15 titres de champions du Comté de Dublin dont 7 consécutifs de 1949 à 1955 et 6 consécutifs de 1957 à 1962. En hurling, ce sont 6 titres de champions du Comté de Dublin (entre 1953 et 1962) qui s’ajoutent à son palmarès.
Heffernann a joué dès le début des années 1940 dans les équipes mineures de hurling et de football gaélique pour le Comté de Dublin.
Il débute en équipe senior l’année de son baccalauréat. Son premier succès est le titre irlandais en catégorie junior en 1948.
En 1953 puis en 1955, il gagne la Ligue nationale de football gaélique. En 1955, il remporte aussi le championnat du Leinster et perd en finale du All-Ireland contre Kerry GAA. Trois ans plus tard, il est capitaine de l’équipe de Dublin et remporte avec elle sa troisième Ligue nationale, le championnat du Leinster et pour réaliser l’année parfaite l'All-Ireland contre Derry GAA. Heffernan gagne ensuite deux nouveaux titres du Leinster en 1959 et 1962. Il prend sa retraite sportive peu après.
Après sa carrière de joueur, Heffernan se lance dans la carrière d’entraineur. Il devient le manager de l’équipe du Comté de Dublin en 1973. Sa période à la tête de l’équipe est marquée par une forte rivalité entre Dublin et Kerry. Dès sa première saison à la tête de l’équipe, il mène les « Dubs » vers leur premier doublé Championnat du Leinster/All-Ireland depuis 1963. Il devient alors le premier et le seul non-joueur à être élu « meilleur joueur de football gaélique de l’année ». En 1975, Dublin remporte son second titre de champion du Leinster mais perd la finale du All-Ireland contre le Kerry GAA. Dublin revient en force l’année suivante remportant à la suite la Ligue nationale, le championnat du Leinster et le All-Ireland, battant en finale Kerry.
Après cette victoire, Heffernan démissionne à la surprise générale de son poste de manager. Il est remplacé par Tony Hanahoe qui est à la fois joueur, capitaine et entraineur de l’équipe. Heffernan revient à la tête de l’équipe en 1979. Après avoir gagné pour la sixième fois consécutive le championnat du Leinster, Dublin perd en finale du All-Ireland contre Kerry. Les trois années suivantes sont plus difficiles. L’équipe est en pleine reconstruction. Heffernan fait appel à de jeunes joueurs et forme une nouvelle équipe autour du milieu de terrain Brian Mullins. En 1983 au cours d’un match mémorable, marqué par des actes anti sportifs, Dublin remporte une victoire sans précédent contre Galway GAA. Après quatre expulsions (trois pour l’équipe de Dublin et une pour Galway) l’équipe de Dublin réduite à douze joueurs gagne le All-Ireland. Cette équipe a été surnommée par les supporters les douze apôtres (‘the twelve apostles’).