John Hugo Ross nació el 24 de noviembre de 1875 en Glengarry, Ontario, aunque la familia se mudó a Winnipeg, Manitoba cuando tenía dos años. Era el hijo único de Arthur Wellington Ross, miembro del Parlamento canadiense por Manitoba en 1878. Inversor de bienes raíces, estuvo involucrado en la construcción del Canadian Pacific Railway. Renunció a su escaño en 1882 para postularse a un cargo federal y fue elegido diputado.
De niño, Ross fue descrito por el Winnipeg Free Press como "un niño de rostro sonrosado en calzones, que montaba su trineo tirado por perros o que patinaba. Los domingos y ocasiones especiales era el pequeño caballero en falda escocesa". Todavía adolescente, su padre le consiguió un puesto con el vicegobernador de Manitoba, donde estuvo un año antes de trasladarse a Toronto, donde se inició en el negocio de la minería. La empresa fracasó y discutió con su padre. En 1902, se fue a buscar oro a Klondike, pero la fiebre allí ya había pasado.
Al fallecer su padre, heredó la fortuna familiar y regresó a Winnipeg para cuidar de su madre viuda. Apuesto y extravagante, tenía un ingenio sarcástico. Él y su buen amigo, el inversor inmobiliario Thomson Beattie, tenían oficinas en el mismo edificio. La secretaria de Ross, Maud McCarthur, era la supuesta prometida de Beattie. En realidad, probablemente era pareja de su inseparable amigo Thomas McCaffry. Los tres solterones, Ross, Beattie y McCaffry se autodenominaban "Los Tres Mosqueteros".