James Ramm pratique la gymnastique durant sa jeunesse avant de s'essayer au rugby à XV, sport plus adapté à son physique[3]. Il commence ce sport à l'âge de 13 ans, au St Joseph's College de Sydney[4].
Il rejoint ensuite le Randwick RUFC, où il joue d'abord en équipe trois, avant de petit à petit gagner sa place en équipe une et jouer le Shute Shield[3],[5]. En 2018, il est sélectionné avec les Junior Wallabies pour le Championnat du monde junior[4],[6].
En 2020, il fait un passage aux Sydney Rays, qui évoluent en National Rugby Championship, avant de rejoindre le centre de formation des Waratahs[4]. En trois saisons, il joue une vingtaine de matchs de Super Rugby, qui lui permettent d'être repéré par le club anglais des Northampton Saints qui le recrutent[7].
James Ramm rejoint ainsi les Saints avant la reprise de la saison 2022-2023[7]. Il joue son premier match avec sa nouvelle équipe en Coupe d'Angleterre contre les London Irish[8], puis fait ses débuts en Premiership quelques semaines plus tard face à Gloucester Rugby[9]. À la fin de sa première saison en Europe, durant laquelle il marque huit essais en dix-neuf matchs, il est élu révélation et meilleur joueur de son club[10].
Au cours de la saison 2023-2024, il prolonge son contrat avec les Northampton Saints[11]. À la fin de la saison 2023-2024, les Saints remportent la finale du Championnat d'Angleterre en battant Bath Rugby 25 à 21[12],[13].
L'année suivante, il est titulaire en finale de Champions Cup face à l'Union Bordeaux Bègles mais les siens s'inclinent 20 à 28[14].