En 1969, il obtient un CAP de mécanicien au collège Lavoisier de Mulhouse.
Il commence sa carrière en 1970 comme mécanicien à la Société alsacienne de constructions mécaniques (SACM). À partir de 1972, il est mécanicien chez Rhône-Poulenc. De 1975 à 1983, il est acheteur, toujours chez Rhône-Poulenc. C'est également en 1975 qu'il devient délégué syndical de la CFDT.
À partir de 1988, il est secrétaire général de la Fédération Unifiée de la Chimie de la CFDT. En 1997, à la suite de la fusion des branches chimie et énergie de la CFDT, pour laquelle il a œuvré[2], il devient secrétaire général de la Fédération Chimie Énergie. Il est également nommé vice-président de la Fédération européenne des syndicats des mines, de la chimie et de l'énergie (EMCEF en anglais). En 1999, les groupes Rhône-Poulenc et Hoechst Marion Roussel fusionnent pour donner naissance à Aventis. Jacques Kheliff participe alors à l'entrée de salariés au conseil de surveillance[3]. En 2002, même s'il reste adhérent, il décide de quitter ses mandats à la CFDT, Nicole Notat ayant nommé François Chérèque pour la remplacer à la tête du syndicat[4] et ce dernier refusant de le laisser prendre de nouvelles responsabilités[5].
Fin 2002, il rejoint Rhodia, où il est d'abord conseiller du président pour le développement durable[6], avant d'être nommé directeur du développement durable fin 2003[7].