Modèle de fondation

Le centre de recherche sur les modèles de fondation (CRFM) du Stanford Institute for Human-Centered Artificial Intelligence (HAI) a inventé le terme de modèle de fondation pour désigner « tout modèle entraîné sur un gros volume de données (généralement en utilisant l'apprentissage auto-supervisé à grande échelle sur des données non annotées) qui peut être adapté (par exemple, affiné) à un large éventail de tâches en aval »^[6]. La technique n'est en soi pas nouvelle, étant basée sur des réseaux de neurones profonds et un apprentissage auto-supervisé, mais son échelle d'entraînement, sur un large volume de données, et le potentiel d'utilisation d'un même modèle pour de nombreuses tâches en aval justifie l'introduction d'un nouveau concept, affirme le groupe de Stanford^[6].

De par sa capacité à s'adapter à de nombreuses tâches en aval, un modèle de fondation est un « paradigme pour la construction de systèmes d'IA », dans lequel un modèle pré-entraîné sur une grande quantité de données non étiquetées peut être adapté à de nombreuses applications^[7],[8],[9].

Les principales caractéristiques des modèles de fondation sont l'émergence et l'homogénéisation^[6]. Dans le cas de l'apprentissage auto-supervisé, les données d'entraînement n'étant pas étiquetées, la structuration de la représentation de l'information par le modèle est émergente plutôt que d'être explicitement encodée. Des propriétés qui n'étaient pas prévues peuvent alors apparaître. Par exemple, un modèle entraîné sur un grand ensemble de données linguistiques peut apprendre à générer ses propres histoires ou à faire de l'arithmétique, sans être explicitement entraîné pour le faire^[10]. Par ailleurs, l'homogénéisation signifie que la même méthode est utilisée dans de nombreux domaines, ce qui permet des avancées mutualisées, mais aussi la possibilité de « points uniques de défaillance »^[6].

Les modèles de fondation sont construits en optimisant un ou plusieurs objectifs d'entraînement, qui sont des fonctions mathématiques déterminant la manière dont les paramètres du modèle sont mis à jour en fonction de ses prédictions sur les données d'entraînement^[11].

• Pour les LLM, cet entraînement repose en général sur un objectif de prédiction des prochains tokens (qui mesure la capacité du modèle à prévoir le prochain élément dans une séquence)
• Pour les modèles d'image, les objectifs d'entraînement couramment utilisés incluent l'apprentissage contrastif. Ce dernier et les objectifs de diffusion (mécanismes où le modèle apprend à reconstituer des données bruitées). L'apprentissage contrastif est une méthode d'entraînement des modèles d'IA qui permet de maximiser la similitude entre des représentations d'objets similaires (par exemple, des images de la même catégorie), tout en renforçant les différences avec celles d'objets non liés (images d'autres catégories). Cette approche repose sur des comparaisons dans l'espace de représentation de l'IA, où chaque objet est transformé en une forme mathématique (vecteur) permettant de mesurer et d'optimiser sa proximité ou son éloignement par rapport à d'autres objets. L'apprentissage contrastif est souvent utilisé dans la reconnaissance d'images et la vision par ordinateur, notamment pour améliorer la classification ou la recherche d'images pertinentes. Dans l'apprentissage contrastif, les images subissent des augmentations aléatoires avant d'être évaluées en fonction de la similarité des représentations du modèle. Pour les modèles de diffusion, les images sont bruitées, et le modèle apprend progressivement à les débruiter par le biais de l'objectif. D'autres objectifs dits « multimodaux » existent (certains séparant les images et le texte pendant l'entraînement ; d'autres les analysent simultanément)^[12]. Les objectifs d'entraînement des modèles de fondation favorisent l'apprentissage de représentations largement utiles des données.
• Pour les modèles d'image, les objectifs d'entraînement couramment utilisés incluent l'apprentissage contrastif. Ce dernier (qui vise à maximiser la similarité entre des représentations d'images similaires tout en différenciant les images non liées) et les objectifs de diffusion. Dans l'apprentissage contrastif, les images subissent des augmentations aléatoires avant d'être évaluées en fonction de la similarité des représentations du modèle. Pour les modèles de diffusion, les images sont bruitées, et le modèle apprend progressivement à les débruiter par le biais de l'objectif. D'autres objectifs dits « multimodaux » existent (certains séparant les images et le texte pendant l'entraînement ; d'autres les analysent simultanément). Les objectifs d'entraînement des modèles de fondation favorisent l'apprentissage de représentations largement utiles des données.

Avec la montée en puissance des modèles de fondation, et avec les ensembles massifs (et croissants) de données qui les alimentent, l'objectif d'entraînement vise à traiter des données à l'échelle d'Internet, pour en extraire des informations pertinentes. De plus, ces modèles étant conçus pour résoudre un large éventail de tâches, leurs objectifs d'entraînement doivent être domain-complets (c'est-à-dire capables de couvrir une grande variété de capacités dans un domaine donné). Enfin, ces objectifs doivent être scalables (adaptables à grande échelle) et efficaces sur le plan computationnel. Dans le contexte des contraintes imposées par la taille des modèles et la puissance de calcul disponible, un objectif d'entraînement doit surmonter ces goulots d'étranglement.

La publication du CRFM^[6] a répertorié les capacités des modèles de fondation en ce qui concerne « le langage, la vision, la robotique, le raisonnement et l'interaction humaine » et ses principes techniques, tels que « les architectures de modèles, les algorithmes d'entraînement, la gestion des données, la sécurité, leur évaluation », leurs applications, par exemple dans « le droit, les soins de santé, l'éducation » et enfin leur impact potentiel sur la société, y compris « l'inéquité, l'utilisation abusive, l'impact économique et environnemental, les considérations juridiques et éthiques ».

Un article sur les modèles de fondation dans The Economist note que « pour certaines personnes, le développement sans précaution de la technologie risque de concentrer davantage le pouvoir économique et politique »^[10],[13].

En décembre 2025, aux États-Unis, 5 mois après que la seconde présidence de Donald Trump ait lancé son plan d'accélération de l'innovation en IA pour assurer la domination technologique et sécuritaire du pays dans la compétition mondiale pour l'IAG^[14], un rapport^[15] réalisé par le réalisé par le Committee on Foundation Models for Scientific Discovery and Innovation des Académies nationales des sciences, d'ingénierie et de médecine, commandé par le Département de l'Énergie (DOE), recommande à ce dernier de combiner les avantages des modèles de fondation à ceux des méthodes de calcul traditionnelles pour associer rigueur physique, capacités prédictives et raisonnement interprétatif. Il recommande que le DOE poursuive ses investissements dans le développement de modèles de fondation dans les domaines où l'agence dispose déjà d'atouts stratégiques, tout en maintenant son expertise en modélisation computationnelle et en renforçant ses infrastructures logicielles et matérielles. IL préconise aussi de créer des protocoles standardisés, des benchmarks pour l'entraînement et la reproductibilité des modèles, et des partenariats avec l'industrie et le monde académique afin de soutenir les missions scientifiques nationales^[16].

Les modèles de fondation causaux (Causal foundation models) sont une extension des modèles de fondation, ayant émergé au milieu des années 2020. Ils intègrent explicitement des mécanismes de causalité dans les représentations apprises par l'IA, dans son espace latent et dans son modèle interne du monde.

Les modèles actuels d'IA ne savent pas vraiment répondre à des questions du type « que se serait‑il passé si… ? », car ils n'ont pas encore de sens commun et ne comprennent pas les liens de cause à effet derrière les événements. Leur méthode pour répondre à ce genre de question consiste à extraire ces liens causaux dans de grandes quantités de données pour construire un réseau de causes, puis à utiliser ce réseau pour raisonner étape par étape et améliorer la capacité des modèles à traiter des scénarios hypothétiques. Les modèles de fondation classiques peuvent le faire via des corrélations statistiques issues d'un entraînement auto-supervisé à grande échelle, Au contraire, les « modèles de fondation causaux » cherchent à capturer des relations causales structurelles permettant de raisonner sur les effets d'interventions, de simuler des scénarios contrefactuels et de mieux généraliser hors distribution^[22]. L'IA peut apprendre d'abord une représentation causale grossière d'un environnement, puis la raffiner progressivement à mesure que l'agent acquiert des actions plus précises^[23].

Ces démarches s'inscrivent dans la continuité des travaux fondateurs sur l'inférence causale, notamment ceux de Judea Pearl, qui distinguent les niveaux observationnel, interventionnel et contrefactuel dans la modélisation des systèmes complexes^[24]. Des travaux récents proposent d'intégrer ces principes causaux dans des modèles de grande taille afin d'améliorer la robustesse, l'explicabilité et la capacité de planification des systèmes. Yang et al. (2024) soulignent que l'intégration d'un modèle causal explicite dans un modèle de fondation permet de mieux structurer les représentations latentes, d'améliorer la prédiction des effets d'actions dans les modèles du monde et de réduire la sensibilité aux biais corrélationnels présents dans les données massives^[25].

D'autres travaux, notamment dans la robotique cognitive et les agents intelligents autonomes, montrent que les modèles causaux facilitent la planification séquentielle et l'apprentissage par renforcement en permettant de raisonner sur les conséquences futures d'actions hypothétiques^[26]. En 2025, Petri et al. montrent qu'un modèle d'espace d'états (SSM) peut apprendre à la fois les règles qui gouvernent un petit environnement et les relations de cause à effet qui le structurent, parfois mieux qu'un transformeur équivalent, suggérant que ces modèles pourraient servir de base à des modèles du monde plus explicatifs, capables de comprendre « ce qui cause quoi » plutôt que de simplement repérer des corrélations^[27].

En 2025, Zhiyu Zhao et al. montrent que certains agents d'IA, rendus plus curieux peuvent apprendre non seulement les règles de cause à effet d'un environnement, mais aussi comment ces règles changent selon les situations ; ils peuvent alors construit une « méta‑carte causale » qui regroupe plusieurs sous‑mécanismes causaux, permettant à l'agent de mieux s'adapter à des contextes nouveaux et à des dynamiques qui évoluent^[28].

Les modèles de fondation causaux pourraient peut-être améliorer la fiabilité des systèmes d'IA dans des environnements dynamiques ou partiellement observables, en particulier dans les modèles du monde utilisés pour la simulation, la robotique ou la prise de décision autonome. Ils visent à combiner les capacités émergentes des modèles de fondation — telles que l'homogénéisation des architectures et l'apprentissage à grande échelle — avec les garanties structurelles offertes par les modèles causaux, afin de produire des systèmes plus interprétables et plus robustes aux changements de distribution^[29].

Les « modèles de fondation causaux » sont l'une des piste explorées pour dépasser les limites des approches purement corrélationnelles et pour rapprocher les modèles de fondation d'une compréhension plus structurée et explicative du monde^[30].