Après avoir grandi dans la ville de Dunnville en Ontario, Jim Gregory tente d'être admis dans la prestigieuse école St. Michael's College School de Toronto en 1953. Au lieu de jouer un rôle de premier plan, c'est derrière le banc qu'il va réellement s'exprimer. Il entraîne l'équipe des St. Michael's Majors de Toronto qui évoluent dans l'Association de hockey de l'Ontario, aujourd'hui Ligue de hockey de l'Ontario, aux côtés de Bob Goldham, Joe Primeau et David W. Bauer[3].
Huit ans plus tard, alors qu'il est manager de l'équipe, elle remporte la Coupe Memorial mais au cours de l'été qui suit, l'équipe décide de quitter l'OHA pour une nouvelle ligue. Cette nouvelle appartenance ne durera qu'une saison et à fin 1962, l'équipe arrête ses activités. Il décide alors de fonder les Toronto Neil McNeil Maroons avec Neil McNeil. Gregory prend les rênes de l'équipe[4] mais celle-ci ne dure finalement qu'une saison. Une nouvelle équipe est créée, les Maroons de Toronto et ils sont alors affiliés aux Maple Leafs de Toronto de la Ligue nationale de hockey. La nouvelle équipe des Maroons va alors remporter la Coupe Memorial en 1964 et 1967[3].
En 1967-68, il devient le nouvel entraîneur des Canucks de Vancouver de la Western Hockey League[5] mais il ne reste qu'une saison à la tête. En effet, à l'aube de la saison 1968-1969 de la LNH, Punch Imlach et Bob Davidson tous deux membres des Maple Leafs lui demandent de rejoindre officiellement la franchise de la LNH en tant que recruteur. Au printemps 1969, Imlach, directeur général de la franchise, est renvoyé de l'équipe en raison de transferts peu judicieux et Gregory est alors appelé pour le remplacer[6].
Il est un des premiers à réellement s'intéresser au hockey européen et fait notamment venir Inge Hammarström et Börje Salming au sein de l'équipe de Toronto[7]. En 1979, il est engagé en tant que recruteur par la LNH puis huit ans plus tard, il est nommé directeur exécutif des opérations au sein de la LNH. Depuis 1998, il est membre du comité de sélection au temple de la renommée du hockey et finalement en 2007, après tant d'années à appeler les joueurs intronisés au temple, il est lui-même admis en tant que bâtisseur[7]. Il fait alors partie de la même «promotion» que Scott Stevens, Al MacInnis, Mark Messier et de Ron Francis.
