Rapport international sur la sécurité de l'IA

En 2023, aux États-Unis, la Food and Drugs Administration (FDA) approuve 223 dispositifs médicaux utilisant l'IA (contre 6 en 2015), et les voitures autonomes deviennent courantes (ex. : la société de transports automatisés Waymo assure plus de 150 000 trajets autonomes par semaine).

En 2024, les États‑Unis investissent 109,1 milliards de dollars en IA et l'IA générale attire 33,9 milliards d'investissements privés ; le Canada promet 2,4 milliards de dollars, la Chine lance un fonds pour les semi-conducteurs de 47,5 milliards, la France engage 109 milliards d'euros, l'Inde 1,25 milliard, et le projet Transcendance de l'Arabie saoudite représente une initiative de 100 milliards de dollars. Cette même année 2024, dans le monde, les mentions de l'IA dans les lois ont augmenté de 21,3 % dans 75 pays depuis 2023, soit une augmentation de neuf fois par rapport à 2016 (année de mise au jour du scandale Facebook-Cambridge Analytica/AggregateIQ, premier cas documenté de vol massif de données personnelles avec utilisation de l'IA (Ripon) pour influencer des élections à grande échelle en ciblant les électeurs via des algorithmes de profilage psychographique et de « persuasion »^[4], fondés sur les données d'environ 87 millions d’internautes volées sur Facebook)^{[5],[6],[7],[8]}. En 2024, les agences fédérales américaines introduisent 59 règlementations nouvelles liées à l'IA — plus du double du score de 2023 —, publiées par deux fois plus d'agences.

En 2025, l'administration Trump, revient parfois en arrière ou freine les règlementations, alors que les capacités de l'IA et son usage (aux États-Unis, 78 % des entreprises disent utiliser l'IA, contre 55 % l'année précédente) évoluent exponentiellement, bien plus vite que les processus législatifs. La sécurité et l'éthique progressent mais lentement : les incidents liés à l'IA augmentent et peu d'entreprises appliquent des évaluations de sécurité standardisées considérées comme de bonnes pratiques.

Ce rapport fait suite à une publication provisoire de mai 2024 et sa gouvernance organisée à la manière de celle du GIEC dans le domaine du réchauffement climatique. C'est la première tentative coordonnée, à l'échelle mondiale, de synthétiser l'état des connaissances scientifiques sur les risques induits par le développement rapide et l'usage exponentiel de l'IA, et sur les stratégies d'atténuation des risques existantes, afin d'éclairer les débats et actions sur le sujet^[9].

La rédaction du rapport est dirigée par une centaine de spécialistes issus de trente pays, ainsi que de représentants de l'Union européenne, de l'Organisation de coopération et de développement économiques (OCDE) et de l'ONU. La première version du rapport est rédigée par 96 experts, dont 30 nommés par l’Organisation de coopération et de développement économiques, l’Union européenne et les Nations Unies (ONU). L'un de ses principaux contributeurs (et le pilote du rapport) est le chercheur Yoshua Bengio (qui préside de groupe), notamment reconnu pour ses travaux sur l'apprentissage profond qui ont permis l'émergence des dernières générations d'IA générative.

Le rapport se concentre « sur l’IA polyvalente — ou IA capable d’accomplir une grande variété de tâches — car ce type d’IA a progressé particulièrement rapidement ces dernières années et a été largement déployé par des entreprises technologiques à diverses fins : grand public et professionnel »^[10].

Ce travail part du principe que dans les années 2020, les progrès de l'IA polyvalente sont rapides et parfois inattendus, alors que cette technologie « traverse encore une période de découverte scientifique et — dans de nombreux cas — n’est pas encore une science établie. Le rapport offre un aperçu de la compréhension scientifique actuelle de l’IA à usage général et de ses risques. Cela inclut l’identification des domaines de consensus scientifique ainsi que des domaines où il existe des points de vue différents ou des lacunes dans la compréhension scientifique actuelle »^[10].

Il vise à :

• établir une base scientifique commune sur les risques actuels et futurs de l'IA, la technologie qui semble promise à devenir « la plus transformatrice du XXI^e siècle », mais non sans risques. Ce rapport vient compléter la publication de l'Indice (Index) de l'IA de l'université Stanford, qui se présente comme l'une des visions les plus complètes, objectives, impartiales, rigoureusement vérifiées et issues de sources larges, relatives au progrès technique de l'IA, à son influence économique et à son impact sociétal^[11] ;
• identifier les limites des approches de sécurité existantes ;
• proposer des orientations pour la gouvernance internationale de l'IA.

Le rapport distingue trois grandes catégories de risques :

• risques non intentionnels : erreurs, dysfonctionnements ou comportements imprévus des systèmes d'IA^[12] ;
• risques d'utilisation malveillante (cyberattaques, manipulation de l'information, détournement d'outils d'IA à des fins nuisibles) ; Le rapport souligne que les systèmes d'IA sont déjà et peuvent l'être plus encore détournés pour un large éventail d'activités hostiles, dont, par exemple, des escroqueries de grande ampleur, des cyberattaques et la création de deepfakes sexualisés qui exposent de manière disproportionnée et croissante les femmes et les enfants au harcèlement, à la coercition et aux abus. Le rapport rappelle aussi que les systèmes d'IA peuvent être utilisés pour manipuler l'opinion publique à grande échelle grâce à des campagnes d'influence sophistiquées et via une désinformation ciblée, en particulier lors d'élections ou de crises politiques.
  De plus, des IA de plus en plus puissantes pourraient aider des acteurs malveillants à développer ou renforcer des menaces biologiques pouvant déboucher sur des pandémies possiblement bien plus graves que les précédentes ;
• risques systémiques : perturbations économiques et sociales, notamment la perte d'emplois due à l'automatisation^[13].

Le rapport passe en revue les méthodes actuelles de réduction des risques, incluant :

• les techniques de robustesse et de fiabilité des modèles ;
• les protocoles d'évaluation avant déploiement ;
• les cadres règlementaires émergents ;
• les limites des approches existantes, notamment face aux systèmes très avancés.

Le rapport appelle à une coopération mondiale renforcée, estimant que les risques liés à l'IA dépassent les capacités d'action des États pris individuellement. Il recommande la création de mécanismes de coordination, de partage d'informations et de normes communes.

Le rapport a suscité un intérêt important dans les milieux scientifiques et politiques. Il est considéré comme une étape majeure dans la structuration d'un débat international sur la sécurité de l'IA, bien que certains observateurs soulignent la difficulté d'appliquer ses recommandations dans un contexte de compétition technologique mondiale.

Selon Roel Dobbe (chercheur en Sécurité des systèmes d'IA)^[14], ce rapport explique a juste titre qu’il faut utiliser une approche systémique de « sécurité des systèmes » qui pense et regarde l’IA comme un ensemble complet (avec ses aspects techniques mais aussi humains et organisationnels) pour produire un « cadre socio-technique »^[15] élargi et solide capable de corriger les limites des approches purement techniques ; cela aiderait aussi à dépasser les faiblesses de la loi européenne sur l’IA et à mieux guider les investissements publics vers une IA utile et sûre pour la société^[16].