Il grandit à Lae[1] et devient propriétaire d'une entreprise de transports ainsi que directeur d'entreprises diverses dans les domaines du bâtiment, de services de sécurité, de télécommunications ou encore d'extraction minière[1],[2].
Il entre au Parlement national comme député sans étiquette de la ville de Lae aux élections de 2017, et indique qu'il se consacrera aux intérêts de sa circonscription plutôt que chercher à entrer au gouvernement[1]. Il rejoint le groupe parlementaire du Pangu Pati après son élection[3] et siège brièvement sur les bancs de l'opposition parlementaire menée par Patrick Pruaitch. En , le groupe de députés du Pangu Pati, dont John Rosso, quitte l'opposition et rejoint les bancs de la majorité parlementaire du Premier ministre Peter O'Neill[4]. En , avec cinq autres députés du Pangu, il rompt avec le parti et le gouvernement et rejoint l'opposition pour soutenir une motion de censure contre Peter O'Neill[5]. Peter O'Neill est contraint de démissionner et John Rosso, redevenu membre du Pangu Pati, est nommé ministre des Terres et de l'Aménagement du territoire par le nouveau Premier ministre James Marape le [3].
En 2020 il initie la «coupe Rosso», course de vélo tout-terrain à Lae. Elle inclut des épreuves pour hommes, pour femmes, pour cyclistes handisport et pour adolescents. En 2022, la coupe Rosso, tout en conservant ses épreuves de cyclisme, devient «un festival avec l'inclusion d'un marché artisanal, des expositions commerciales et une course nautique»[6].
Le vice-Premier ministre Sam Basil est tué dans un accident de la route le ; John Rosso est promu à sa succession deux semaines plus tard[7]. Réélu aux élections législatives de 2022, il est reconduit par James Marape au ministère des Terres et de l'Aménagement du territoire et au poste de vice-Premier ministre[8],[9]. À partir d' il est ministre par intérim du Travail et de l'Immigration, pendant la suspension du ministre Bryan Kramer[10].
