Rory Sparrow était connu comme l'un des meneurs les plus réguliers de NBA. Il connut ses meilleures années avec les Atlanta Hawks et les New York Knicks au début des années 1980, devenant par la suite l'un des joueurs fondateurs du Miami Heat. Outre sa carrière sportive, Sparrow était reconnu pour ses efforts envers la communauté.
La carrière NBA de Sparrow débuta humblement. Les Nets évincèrent Sparrow du camp d'entraînement lors de son année rookie et il dut alors rejoindre la Continental Basketball Association, où il joua sous les couleurs des Scranton Aces. En 20 rencontres pour les Aces, Sparrow inscrivit des moyennes de 24,1 points et 9,0 passes décisives. Les Nets firent alors appel à ses services à deux reprises en 1981, disputant 15 matchs NBA.
Au début de la saison 1981–1982, New Jersey transféra Sparrow aux Atlanta Hawks contre un 4etour de draft. L'entraîneur Kevin Loughery fit immédiatement de lui le meneur titulaire, faisant alors réellement commencer sa carrière. Il compila des moyennes de 10,5 points et 5,2 passes décisives par match. Les Hawks terminèrent la saison avec 42 victoires - 40 défaites, s'inclinant au premier tour des playoffs.
Au milieu de la saison suivante, Atlanta transféra Sparrow aux New York Knicks contre Scott Hastings. Il y resta cinq ans en tant que titulaire.
Lors de son passage à New York, Sparrow créa la "Rory F. Sparrow Foundation", une organisation de charité aidant les enfants défavorisés de la région de New York. À l'issue de la saison 1985-1986, Sparrow fut reconnu pour ses efforts en remportant le trophée décerné par Sports Illustrated de co-Sportsmanship avec Michael Cooper.
Au début de la saison 1987–1988, les Knicks transférèrent Sparrow aux Chicago Bulls, où il évolua en tant que remplaçant de Michael Jordan et Sam Vincent. La saison suivante, il signa en tant que free agent avec le Miami Heat. Le , lors d'un match contre les Los Angeles Clippers, Sparrow inscrivit les premiers points de l'histoire du Heat. Il réussit alors sa meilleure moyenne en carrière avec 12,5 points par match.
Lors de sa deuxième saison avec le Heat, Sparrow fut relégué dans un rôle de remplaçant derrière le rookie Sherman Douglas. Lors de la saison 1990–1991, il fut transféré aux Sacramento Kings. Sparrow passa la saison 1991–1992 entre les Chicago Bulls et les Los Angeles Lakers avant de se retirer à l'âge de 34 ans. Au total, il inscrivit 7557 points pour sept équipes différentes pour une moyenne de 9,0 points par match.
En 1994, il intégra la direction de la NBA dans la fonction de player programs manager.
