Robinson fait ses études à la Ridgeview High School dans le nord de la ville d'Atlanta.
Université
En 1971, il intègre l'équipe de football américain de l'université de Georgia Tech. En quatre saisons avec les Yellow Jackets, il reçoit 101 passes pour 1633 yards et treize touchdowns. En 1981, il est intronisé au temple de la renommée de l'université et dans l'équipe de tous les temps de l'équipe.
Professionnel
Jimmy Robinson est sélectionné au quinzième tour du draft de la NFL de 1975 par les Falcons d'Atlanta au 367echoix. Il n'est pas dans l'effectif des Falcons lors de l'ouverture de la saison 1975 et se retrouve agent libre. En 1976, il signe avec les Giants de New York, où il marque son premier touchdown en professionnel. En 1977, il domine le classement des réceptions des Giants avec vingt-deux pour 422 yards et trois touchdowns ainsi que trente-deux en 1978 pour 620 yards et deux touchdowns. À noter qu'il inscrit le premier touchdown de l'histoire du Giants Stadium après une passe de Craig Morton. La saison 1979 ne le voit rien inscrire et il est libéré par la franchise de New York.
En 1980, il signe avec les 49ers de San Francisco mais il ne joue aucun match. En 1981, il est recruté par les Broncos de Denver mais là aussi n'apparait à aucune reprise avec le maillot bleu et orange de Denver. Il met un terme à sa carrière de joueur après cette saison.
Entraîneur
Débuts
Robinson revient dans le monde du football professionnel en 1984, devenant membre du staff de l'équipe des Showboats de Memphis, jouant en United States Football League. Il est l'entraîneur des wide receiver pendant deux saisons avant la fermeture de la ligue. Après cette première expérience, il reste une saison sans club avant de revenir dans son université en 1987 pour entraîner les Yellow Jackets pendant trois saisons.
Professionnel
Falcons d'Atlanta
En 1990, Robinson revient en NFL mais cette fois pour être au bord du terrain. Il intègre le staff des Falcons d'Atlanta, équipe qui la sélectionné en 1975 mais qui ne l'avait gardé. Il entraîne des joueurs comme Andre Rison et Michael Haynes, qui affolent les compteurs en 1990. En 1991, Rison reste parmi les meilleurs réceptionneurs pour touchdown et son coéquipier Mike Pritchard impressionne par ses performances.
Colts d'Indianapolis
En 1994, il signe avec la franchise des Colts d'Indianapolis, toujours au poste d'entraîneur des wide receivers. Lors de sa première saison, il entraîne notamment Marvin Harrison, qui devient le troisième rookie de l'histoire des Colts à recevoir le plus de ballons lors d'une saison. Jimmy reste à ce poste pendant quatre saisons
Giants de New York
En 1998, Robinson revient dans sa ville natale de New York où il a joué pendant quatre saisons avec les Giants. En 1999, les receveurs Amani Toomer (qui deviendra un des meilleurs receveurs de l'histoire de New York) et Ike Hilliard deviennent la première paire de receveur des Giants à combiner une statistiques de 2000 yards parcourus. En 2001, les receveurs de New York reçoivent 186 passes pour 2680 yards et quinze touchdowns, ce qui permet à l'équipe de jouer le Super Bowl XXXV, qui se solde par une défaite.
Saints de La Nouvelle-Orléans
Robinson intègre l'équipe des Saints de La Nouvelle-Orléans en 2004. Il entraîne Joe Horn qui reçoit quatre-vingt-quatorze passes pour 1399 yards (record de la franchise) et onze touchdowns. Après la saison 2005, il quitte les Saints.