Token (intelligence artificielle)

Pour Webster et Kit (1992), dans l'informatique linguistique, un token est un « nœud terminal » (terminal node), qui, du point de vue des traitements ultérieurs, ne sera pas découpé en unités plus petites. La segmentation s'effectuait autrefois principalement par mot ou par caractère.

Les modèles d'apprentissage profond contemporains emploient une approche intermédiaire dite à « sous-mots » (subword tokens). Cette méthode segmente les termes fréquents (ou des entités graphiques telles que des groupes de pixels ou des entités sonores) en blocs (ex. : « ordinateur ») et les décomposent en termes plus rares, les flexions grammaticales ou les néologismes en unités plus petites (ex. : « anti » et « constitutionnellement »).

En informatique linguistique, les textes étaient autrefois segmentés soit en mots entiers, soit en caractères isolés.

Les modèles d'apprentissage profond contemporains utilisent dorénavant une méthode intermédiaire dite de « segmentation en sous‑mots ». Cette technique consiste à conserver entiers les mots fréquents, tandis que les mots rares, les formes grammaticales peu courantes ou les mots nouveaux sont découpés en unités plus petites. Ainsi, un terme courant comme « ordinateur » peut rester intact, alors qu'un mot long ou peu utilisé, comme « anticonstitutionnellement », sera séparé en segments plus simples.

Ce paradigme consensuel répond à une double contrainte :

1. Éviter le problème des mots inconnus lors de la phase d'inférence, et traiter efficacement tous les mots possible ;
2. ... Tout en maintenant la taille du dictionnaire du modèle dans des limites de calcul raisonnables (généralement entre 32 000 et 256 000 jetons).

On estime que — en moyenne — pour la langue anglaise, un jeton équivaut à environ quatre caractères ou 0,75 mot ; c'est la règle donnée par OpenAI pour la langue anglaise^[5] :

1 token ≈ 4 caractères ;

1 token ≈ ¾ de mot (≈ 0,75 mot) ;

100 jetons ≈ 75 mots ;

autrement dit un texte d'environ 750 000 mots sera tokénisé en environ 1 million de tokens.

Divers algorithmes statistiques permettent de générer le dictionnaire de jetons :

• Byte pair encoding (BPE) : cet algorithme commence par traiter chaque caractère comme un jeton, puis fusionne itérativement les paires de jetons les plus fréquentes dans le corpus d'entraînement^[3]. Il est utilisé par les modèles de la famille GPT d'OpenAI et LLaMA de Meta ;
• WordPiece : similaire au BPE, il sélectionne les fusions de caractères qui maximisent la vraisemblance des données d'entraînement selon un modèle probabiliste. Cet algorithme est notamment employé par BERT ;
• Unigram : à l'inverse de BPE, il commence par un dictionnaire géant contenant tous les mots et sous-mots possibles du corpus, puis élague progressivement les jetons les moins utiles à la structure globale du texte.

Comme pour les textes et mots, dans les modèles d'intelligence artificielle générative d'images tels qu'apparus dans les années 2020, les images ne sont pas traitées pixel par pixel, mais converties en unités discrètes (tokens).

La méthode la plus répandue est la segmentation de l'image en petits blocs réguliers (patchs), généralement de 16 × 16 pixels. Chaque patch est ensuite transformé en un vecteur numérique qui devient un « token visuel ». Cette approche, introduite par les Vision Transformers (ViT), permet de traiter une image un peu comme une séquence analogue à une phrase, facilitant l'utilisation des mêmes mécanismes d'attention que pour le texte. Vers le milieu des années 2020, des modèles multimodaux d'IA tels que GPT‑4V, Gemini, LLaMA‑Vision, reprennent ce principe pour intégrer les images dans un vocabulaire commun de tokens^[6].

Pour le son et d'autres données audio, les modèles ne manipulent pas non plus directement l'onde sonore brute.

Le signal est d'abord transformé en un spectrogramme (représentation visuelle des fréquences évoluant dans un segment de temps). Ce spectrogramme, assimilable à une image, peut ensuite être découpé en patchs et converti en tokens selon les mêmes techniques que pour la vision, bien que certains modèles utilisent une autre approche consistant à convertir le son en une suite de codes discrets via une quantification neuronale, comme dans les systèmes de compression audio EnCodec. Ces codes jouent alors le rôle de tokens audio, permettant au modèle de manipuler le son comme une séquence symbolique^[7],[8].

L'ADN est une suite de quatre bases (A, C, G, T) que l'IA peut interpréter comme une séquence symbolique (presque exactement comme une phrase), et il en va de même pour l'ARN. Trois méthodes principales sont utilisées pour tokéniser l'ADN (ou l'ARN) :

• tokenisation par nucléotide : chaque lettre de base du code génétique (A, C, G, T) = 1 token. Cette méthode est simple, mais peu informative ;
• tokenisation par K-mères : l'IA découpe la séquence en groupes de k lettres (ex. : « ATG », « TGA »). Cette méthode est très utilisé en génomique car elle capture des motifs biologiques ;
• tokenisation par sous‑mots biologiques : elle est inspirée de BPE (comme pour le texte) ; ici, le modèle « apprend » les motifs fréquents dans le génome. Par exemple, DNABERT (2021) : utilise des k‑meres de taille 6 et GenSLM (2023) utilise un modèle de 2,5 milliards de paramètres pour l'ADN.

Les protéines sont des séquences d'acides aminés (avec 20 symboles possibles) ; elles se prêtent donc très bien à une tokenisation de type « texte » où : 1 acide aminé = 1 token. Des sous‑unités peuvent être apprises automatiquement, comme pour les sous‑mots en langage naturel et la méthode permet de capturer des motifs structuraux (hélices, feuillets…). Des exemples de modèles utilisant cette méthode sont par exemple :

• ESM‑2 (Meta, 2022) : 15 milliards de paramètres ;
• ProtBERT (qui est une adaptation de l'IA BERT au domaine des protéines).

Les molécules sont souvent représentées en SMILES, une notation textuelle, et peuvent donc être alors tokénisées comme du texte, avec une tokenisation simple (caractère par caractère) et par sous‑mots (BPE) puis par graphes (plus avancée), par exemple par :

• ChemBERTa ;
• MolT5 ;
• Graphormer.

Un robot doit pouvoir se mouvoir dans l'espace-temps, généralement au moyen d'actionneurs internes.

Les « actions » d'un robot peuvent aussi être converties en tokens représentant, par exemple, des positions articulaires, des commandes moteur, des trajectoires ou les états d'un capteur. C'est ce que font les modèles RT‑2, un système de Google DeepMind qui convertit des instructions textuelles en actions robotiques en s'appuyant sur un modèle multimodal entraîné sur des données web et robotiques^[9], et Octo, un modèle unifié publié en 2024 qui apprend des politiques robotiques générales à partir de vastes ensembles de données hétérogènes et encode les actions sous forme de tokens pour permettre la généralisation à de nouvelles tâches^[10].

Dans le domaine de l'intelligence artificielle générative, le jeton s'est peu à peu imposé comme l'unité de mesure standardisée de facturation pour les interfaces de programmation (API).

Les fournisseurs de services d'IA facturent généralement les requêtes au million de jetons traités, en distinguant le coût des jetons d'entrée (prompt) et des jetons générés en sortie (completion).

Au milieu des années 2020, dans l'industrie de l'IA, et notamment dans certaines entreprises de la Silicon Valley, la consommation de tokens — l'unité élémentaire de traitement des grands modèles de langage — tend à devenir un indicateur interne d'usage de l'intelligence artificielle (sachant que plus une tâche est complexe, plus elle requiert de tokens).

Cela a conduit certaines entreprises ou certains employés à abusivement utiliser la quantité de tokens qu'on leur alloue, et à présenter cette consommation comme une mesure indirecte d'activité ou de productivité, or, comme le rappelle Keith Lee en mai 2026 : utiliser l'IA le plus possible et produire un maximum de textes ou de requêtes — montre surtout qu'on confond quantité et qualité, alors que le vrai enjeu devrait être de savoir si l'IA améliore réellement le travail, la rapidité, la précision ou l'utilité des résultats^[11].

Plusieurs articles et enquêtes journalistiques indépendantes ont rapporté ce type de comportement excessif : certains employés cherchent à « brûler du token » (c'est à dire à artificiellement consommer de tokens, alors que la pratique vertueuse, celle de l'IA sobre voudrait au contraire qu'on économise les tokens. Cette pratique est dite tokenmaxxing — notamment chez Meta, où des classements internes tels que « Token Legend » ou « Session Immortal » ont circulé, et où la consommation cumulée aurait atteint jusqu'à 60 trillions de tokens en 30 jours^[12]. Des témoignages similaires ont été rapportés chez Amazon, où des ingénieurs utiliseraient massivement des agents internes pour des tâches non essentielles. Selon Victoria Lorrimar (qui dirige le Centre for Technology and Human Futures de l'université Notre Dame) et le philosophe américain Tim Smartt (2026), ce phénomène (tokenmaxxing) s'inscrit dans une tendance plus large où entreprises technologiques et investisseurs valorisent l'usage intensif de l'IA, au risque de réduire la performance à un indicateur unique et potentiellement trompeur, comme l'ont montré les analyses de C. Thi Nguyen sur la capture des valeurs par les métriques et les dérives historiques liées à de mauvais indicateurs, soulevant ainsi la question de savoir si cette nouvelle obsession quantitative ne façonne pas insidieusement une vision appauvrie du « bon travail » et, plus largement, du « bien vivre »^[13].