Il est élu au conseil municipal de Long Branch de 1982 à 1988[1], où il est le seul démocrate[2]. À partir de 1984, il siège également au Sénat du New Jersey[3].
En 1988, après le décès du représentant démocrate James J. Howard(en), Pallone candidate à la Chambre des représentants des États-Unis dans le 3edistrict du New Jersey[2]. La circonscription s'étend le long de la côte des comtés de Monmouth et d'Ocean[4]. Considéré comme le protégé de Howard, il reçoit le soutien de la veuve de ce dernier et remporte la primaire démocrate sans opposant[2]. En novembre, il est élu pour terminer le mandat de Howard et pour le mandat suivant[1]. Il rassemble 52% des voix face au républicain Joseph Azzolina[3], alors que George H. W. Bushremporte le district[2]. Il est réélu de justesse en 1990, avec 49% des suffrages en 1990 contre 46% pour le républicain Paul Kapalko (46%)[3].
Après le recensement de 1990, les circonscriptions sont redécoupées. Pallone se retrouve désormais dans le 6edistrict. Inconnu pour de nombreux électeurs du nouveau district, il remporte cependant la primaire démocrate face au député local Bob Smith, élu du comté de Middlesex où se trouve désormais la majorité de la circonscription[4]. En novembre 1992, il est réélu avec 52,3% des voix face au républicain Joseph Kyriollos à 44,7%[3]. Il est reconduit par plus de 57% des électeurs en 1994, 1996 et 1998[3]. Entre 2000 et 2008, il remporte chaque élection avec plus de deux tiers des voix[3]. Il est réélu avec 54,7% des suffrages en 2010 et avec toujours plus de 59% des voix depuis[3].
En 2013, Pallone est candidat à la succession du sénateur des États-UnisFrank Lautenberg, mort en cours de mandat. Bien que soutenu par la famille Lautenberg, il est largement distancé dans la primaire démocrate, rassemblant 20% des suffrages contre 59% pour le maire de NewarkCory Booker[5], plus connu et considéré comme une étoile montant du Parti démocrate[6].
Le , il fait partie des 56 élus démocrates à voter en faveur d'une résolution proposée par le républicain Matt Gaetz pour forcer le président Joe Biden à procéder au retrait des troupes américaines en Syrie dans un délai de six mois[7],[8].
