Né de parents immigrés italiens, Gigante fut d'abord boxeur mi lourd et effectua 25 combats professionnels entre 1944 et 1947, dont deux au Madison Square Garden. Il compte 21 victoires (une par KO) et 4 défaites.
Plus tard, il devint tueur pour la famille Genovese. Gigante avait quatre frères : Louis, Mario, Pasquale et Ralph. Tous devinrent des mafiosi dans la famille Genovese, excepté Louis, qui resta en dehors du crime organisé et devint prêtre. Gigante était le tireur dans la tentative d'assassinat ratée contre Frank Costello. Il partagea aussi la cellule de son parrain Vito Genovese pour un trafic d'héroïne. Par la suite, Gigante devint Caporegime et géra son propre groupe basé à Greenwich Village.
Gigante prit de plus en plus d'importance dans la famille durant les années 1960 et 1970. Il devint parrain de fait de la famille en 1981, alors qu'Anthony Salerno était le parrain officiel dans les années 1980.
Il est à l'origine de la tentative d'assassinat ratée contre John Gotti, parrain de la famille Gambino en 1986. Avec l'arrestation et la condamnation de Gotti et d'autres membres de la famille Gambino. Gigante est officiellement reconnu comme le parrain le plus influent de toute la Cosa Nostra aux États-Unis. La presse le surnomme le « Oddfather » ou « L'énigme à la robe de chambre. »
À cette époque, on pouvait voir Gigante se promener, dans Greenwich Village, en robe de chambre et pyjama, en train de se parler à lui-même dans un langage incompréhensible. Gigante admit plus tard que c'était une stratégie pour échapper aux poursuites en se faisant passer pour une personne mentalement déficiente. Cette stratégie fonctionna durant plus de 10 ans. Mais en 1997, il fut accusé de racket et d'extorsion de fonds et fut condamné à 12 ans de prison. Il meurt en 2005 au centre médical des États-Unis pour prisonniers fédéraux.
