De retour en Nouvelle-Zélande, il s'établit comme barrister (avocat) à Wellington. Il est approché par le Parti national, parti de centre-droit, et accepte d'être candidat dans la circonscription de Mount Victoria pour les élections législatives de 1946. Il mène campagne sur les thèmes de la liberté individuelle, de l'entreprenariat et de la justice sociale, remporte la circonscription et entre à la Chambre des représentants comme député de l'opposition parlementaire au gouvernement travailliste du Premier ministre Peter Fraser. Le solicitor general faisant remarquer que son élection est contraire au droit car il a terminé de plaider une affaire à la cour et a reçu ses honoraires après avoir été élu, Peter Fraser introduit une clause dans le budget qui régularise son élection et lui permet de rester député[1].
Les élections de 1949 voient la victoire du Parti national après quinze ans de gouvernement travailliste, et Jack Marshall est fait ministre assistant le Premier ministre Sidney Holland, et chargé de la politique de logement. Il poursuit la politique travailliste de construction de logements sociaux loués à bas coût par l'État aux familles modestes, mais met aussi en place une politique de prêts à faible taux pour aider les personnes aux revenus modestes à devenir propriétaires, ainsi qu'à rénover leur logement; il permet aussi aux locataires de logements sociaux d'acheter la maison qu'ils louent[1]. En 1951 il devient ministre de la Santé. En 1954 il est fait ministre de la Justice et procureur général. À ce poste, il crée la Cour d'appel de Nouvelle-Zélande et devient un mécène de la Société d'Aide et de Réhabilitation des Prisonniers[1]. Surnommé «Gentleman Jack», il est perçu comme courtois, digne, patricien mais pragmatique[1].
Avec la défaite du Parti national aux élections de 1957, Jack Marshall devient l'adjoint du chef de l'opposition parlementaire Keith Holyoake. Il admet par la suite que le gouvernement Holland a légué au gouvernement travailliste de 1957 une crise économique, qui a facilité le retour au pouvoir du Parti national aux élections de 1960. Il devient alors vice-Premier ministre, ministre de la Justice, procureur général, ainsi que ministre des Industries, du Commerce, des Douanes et de l'Immigration. Sous sa direction à ce ministère, la Nouvelle-Zélande signe un accord de libre-échange avec l'Australie, et l'État soutient la naissance d'industries métallurgiques pour diversifier l'économie de la Nouvelle-Zélande, encore très rurale. Il visite souvent le Royaume-Uni et les États d'Europe de l'ouest pour tenter de préserver l'accès privilégié des marchandises néo-zélandaises au marché britannique dans le cas où le Royaume-Uni adhérerait à la Communauté économique européenne. Il obtient finalement qu'après l'entrée du Royaume-Uni dans la C.E.E. en 1973, il y aurait une période transitoire de cinq ans durant laquelle une partie des exportations agricoles néo-zélandaises vers le Royaume-Uni continueraient d'être exemptées de droits de douane, afin de donner du temps à la Nouvelle-Zélande de diversifier ses exportations et de trouver de nouveaux marchés étrangers[1].
En 1969, à la mort de Tom Shand(en), le Premier ministre Keith Holyoake le contraint de devenir ministre du Travail, tout en conservant ses autres portefeuilles ministériels. Pour contrer les augmentations de salaire obtenues par les syndicats et qui aggravent l'inflation, il introduit avec succès en 1971 un projet de loi de stabilisation, qui prévoit une augmentation des salaires de 7% par an. La même année, il introduit avec succès un projet de loi qui permet aux salariés de recevoir en cas d'accident une compensation financière proportionnelle à leur salaire même lorsque leur employeur n'est pas en tort; il décrit par la suite cette loi comme la réussite dont il est le plus fier[1].
Le , lorsque Keith Holyoake démissionne, Jack Marshall lui succède comme Premier ministre. Il a alors devant lui la tâche impossible de mener le Parti national aux élections de novembre, alors que la popularité du parti est très basse. Le parti est largement battu, et Jack Marshall devient chef de l'opposition face au gouvernement travailliste de Norman Kirk. Malade du coeur, il quitte la direction du Parti national le , la cédant à Robert Muldoon. Il est fait chevalier en septembre, et ne se représente pas aux élections de 1975[1],[2].
