Jean Pastré nait en 1888. Son père, le comte Ange André Pastré (1856-1926), armateur, est lui-même fils d'Eugène Pastré, armateur et marchand, premier propriétaire à Marseille du Château Pastré. Sa mère, Clara Goldschmidt, est la petite-fille de Jonathan-Raphaël Bischoffsheim.
En 1913, il joue au polo[3] au sein de l'équipe des Diables Rouges, au Château de Laversine, domaine du baron Robert de Rothschild près de Chantilly[4].
Un an plus tard, il joue avec l'équipe internationale du Cote d'Azur Polo Club, à Mandelieu-la-Napoule, sous les yeux de duc de Westminster[5].
En 1922, il joue à Mons, en Belgique aux côtés du comte Jean de Madre et d'Hubert de Monbrison[6], en présence de Raymond Poincaré, alors Premier ministre, et du maréchal Philippe Pétain[6].
Aux matches de polo aux Jeux olympiques de 1924, Pastré joue dans l'équipe française qui fait face à l'équipe américaine[7].
À la fondation de la Fédération française de polo, le , Pastré en est élu le premier secrétaire[2],[8].
Après son mariage avec Marie-Louise Double de Saint-Lambert, cette philanthrope marseillaise sera connue comme la comtesse Lily Pastré.
Ils ont trois enfants, résident à Paris et passent l'été au Château Pastré à Marseille jusqu'à leur divorce en 1940.
Le château revient alors à la comtesse[9].