John Howard Gomery naît à le dans une famille anglophone de l’ouest de Montréal. Son père, Walter Bertram Gomery, est vendeur itinérant de charbon pour une entreprise dont il deviendra le président[1],[2].
En 1957, il est admis au Barreau du Québec et entre au cabinet Fasken, Martineau & Dumoulin, pratiquant dans le domaine du droit de la famille, du litige commercial et des faillites. Il devient associé de ce cabinet en 1996. En 1972, il devient conseiller de la Reine. Il est nommé juge à la Cour supérieure du Québec en 1982 pour le district judiciaire de Montréal. De 1999 à 2005, il est président de la Commission du droit d'auteur du Canada.
En 2004, il est nommé commissaire d'une commission canadienne d'enquête sur le scandale des commandites, qui prendra le nom officieux de commission Gomery. À la suite d'audiences très médiatisées, la commission produira deux rapports: Qui est responsable (publié en ), et Rétablir l'imputabilité (publié en ). L'ex-premier ministre Jean Chrétien, dont la responsabilité fut mise en cause dans le premier rapport de la commission, déclara le commissaire Gomery partial à son endroit, et intenta une action en justice pour faire expurger du rapport les passages le mentionnant[4].
En décembre 2005, il est nommé personnalité de l'année par la version canadienne du Time Magazine[5].
Il prend sa retraite comme juge le , jour de son 75eanniversaire.
Le , John Gomery a annoncé qu'il sera le président d’honneur de la campagne de financement du parti politique montréalais Projet Montréal dans le cadre de l’élection municipale de Montréal en 2009[6].