Il est le fils d'un petit industriel, Lucien Gingembre, qui dirige une petite entreprise de fabrication d'aiguilles et d'agrafes à L'Aigle, en Normandie[2], les établissements Charpentier. La famille viendrait des Vosges et selon la légende familiale leur nom viendrait d'un ancêtre, capitaine hollandais, qui ramenait cette épice des Indes[2].
Léon Gingembre suit des études au lycée Montaigne, à Paris puis à la faculté de droit où il décroche une licence[2]. Il est également diplômé de l'École libre des sciences politiques[2]. Officier de réserve, il fait son service dans les chasseurs alpins à Menton et est envoyé au Maroc en 1925[2].
Avant-guerre et Occupation : début du syndicalisme patronal
En 1932, il reprend l'affaire familiale, qui est membre du syndicat des articles métalliques. Il commence à s'engager dans le militantisme syndical avec la négociation ouverte avec le gouvernement et les syndicats ouvriers lors du Front populaire en 1936. Des tensions naissent alors dans l'organisation patronale, entre les petites et les grosses entreprises. Les premières estiment que l'on ne les prend pas assez en compte. Claude Gignoux, qui a pris la tête de la Confédération générale du patronat français, qui a succédé en 1936 à la CGPF, crée alors la Commission Petite et Moyenne industrie et commerce où Léon Gingembre siègera[2]. Mais cette commission a du mal à exister au sein de la CGPF. L'organisation patronale est dissoute en .
Léon Gingembre est mobilisé puis fait prisonnier de guerre. Il est libéré en octobre 1942, par astuce, le nom de son frère Paul, alors en Algérie, est écrit à la place du sien. Il est appelé auprès de Jean Bichelonne, ministre de la Production industrielle dans le gouvernement de Vichy.
Après guerre : création de la CGPME
À la fin de la guerre, en 1944, il crée la CGPME en 1944[3] pour représenter les petites et moyennes entreprises qu'il estimait n'être ni représentées, ni reconnues en France[2]. Il la présidera de 1945 à 1978[3]. Au début du mois de il fait partie de la dizaine de personnalités politiques, économiques et syndicales appelées à siéger dans le tout nouveau Conseil au plan en voie de constitution sous l'autorité de Jean Monnet[5]. En 1960, il installe le siège de sa société à Paris en 1960, dans son quartier de naissance.