Hiver de l'IA

Summarize Timeline Top Qs Fact Check

La recherche en traitement du langage naturel (NLP) trouve ses racines au début des années 1930 et a débuté avec les travaux sur la traduction automatique^[7]. Cependant, des avancées et des applications significatives commence à voir le jour après la publication du mémorandum influent de Warren Weaver, Machine translation of languages: fourteen essays (Traduction automatique des langues : quatorze essais), en 1949^[8]. Ce mémorandum suscite un vif enthousiasme au sein de la communauté scientifique. Au cours des années suivantes, des événements notables se déroulent: IBM se lance dans le développement de la première machine, le MIT nommé son premier professeur en traduction automatique et plusieurs conférences consacrées à la traduction automatique ont lieu. Le point culminant est atteint avec la démonstration publique de la machine Georgetown-IBM, qui suscite un vif intérêt dans les journaux en 1954^[9].

Comme pour tous les booms de l'IA suivis par des hivers de l'IA, les médias ont eu tendance à exagérer l'importance de ces développements. Les gros titres sur l'expérience Georgetown-IBM annonçait «La machine bilingue», «Le cerveau robotique traduit le russe en anglais royal»^[10]et «Une création polyglotte^[11]». Cependant, la démonstration se limitait à la traduction en anglais d'un ensemble sélectionné de seulement 49 phrases russes, le vocabulaire de la machine étant limité à seulement 250 mots^[9]. Pour mettre les choses en perspective, une étude réalisée en 2006 par Paul Nation a révélé que les humains ont besoin d'un vocabulaire d'environ 8 000 à 9 000 mots pour comprendre des textes écrits avec une précision de 98 %^[12].

Pendant la guerre froide, le gouvernement américain s'intéresse particulièrement à la traduction automatique et instantanée de documents et de rapports scientifiques russes. À partir de 1954, il soutient activement les efforts en matière de traduction automatique. L'intérêt manifesté par la Central Intelligence Agency (CIA) contribue également à faire progresser le domaine de la traduction automatique. À cette époque, la CIA est fermement convaincue de l'importance de développer des capacités de traduction automatique et soutient les initiatives dans ce sens. Elle reconnait également que ce programme a des implications qui dépasse les intérêts de la CIA et de la communauté du renseignement^[9].

Au départ, les chercheurs étaient optimistes. Les nouveaux travaux de Noam Chomsky en grammaire permettaient de mieux comprendre le processus de traduction et « de nombreuses prédictions annonçaient des percées imminentes »^[13].

Cependant, les chercheurs avaient sous-estimé la profonde difficulté de la désambiguïsation lexicale. Pour traduire une phrase, une machine doit avoir une idée du sens de cette phrase, sinon elle commet des erreurs. Un exemple apocryphe^[14]est « l'esprit est disposé, mais la chair est faible ». Traduit de manière répétée en russe, il est devenu « la vodka est bonne, mais la viande est pourrie »^[15]. Plus tard, les chercheurs ont appelé cela le problème de la connaissance commune.

En 1964, le Conseil national de la recherche s'inquiéte de l'absence de progrès et crée le Comité consultatif sur le traitement automatique du langage (ALPAC) afin d'étudier le problème. Dans un rapport célèbre publié en 1966, le comité conclut que la traduction automatique est plus coûteuse, moins précise et plus lente que la traduction humaine. Après avoir dépensé quelque 20 millions de dollars, le NRC met fin à tout soutien. Des carrières sont détruites et la recherche prend fin^[13].

Les réseaux ou circuits simples d'unités connectées, notamment le réseau neuronal de Walter Pitts et Warren McCulloch pour la logique et le système SNARC de Marvin Minsky, ne donne pas les résultats escomptés et sont abandonnés à la fin des années 1950. Après le succès de programmes tels que Logic Theorist et General Problem Solver^[16] les algorithmes de manipulation de symboles semblent alors plus prometteurs pour parvenir à un raisonnement logique, considéré à l'époque comme l'essence même de l'intelligence, qu'elle soit naturelle ou artificielle.

L'intérêt pour les perceptrons, inventés par Frank Rosenblatt en 1957, n'est maintenu que grâce à la force de sa personnalité^[17]. Il prédit avec optimisme que le perceptron « pourrait à terme être capable d'apprendre, de prendre des décisions et de traduire des langues »^[18]. La recherche traditionnelle sur les perceptrons prend fin en partie parce que l'ouvrage Perceptrons, publié en 1969 par Marvin Minsky et Seymour Papert, souligne les limites des capacités des perceptrons^[19]. Même si l'on savait déjà que les perceptrons multicouches n'étaient pas concernés par ces critiques, personne dans les années 1960 ne savait comment entraîner un perceptron multicouche. La rétropropagation était encore loin d'être inventée^[20].

Dans les années 1970 et au début des années 1980, Il est difficile de trouver des financements importants pour des projets liés aux réseaux neuronaux^[16]. D'importants travaux théoriques se sont toutefois poursuivis malgré le manque de financement. L'hiver des réseaux neuronaux prit fin au milieu des années 1980, lorsque les travaux de John Hopfield, David Rumelhart et d'autres suscitèrent à nouveau un intérêt à grande échelle^[15]. Rosenblatt ne vécut cependant pas assez longtemps pour assister à cette renaissance, puisqu'il mourut dans un accident de bateau peu après la publication de Perceptrons^[18].

Summarize Timeline Top Qs Fact Check

En 1973, le professeur Sir James Lighthill est invité par le Parlement britannique à évaluer l’état de la recherche en intelligence artificielle au Royaume-Uni. Son rapport critique l’échec de l’IA à atteindre ses «objectifs ambitieux». Il conclut que rien de ce qui était fait en IA ne pouvait être fait dans d’autres sciences^[21]. Il mentionne notamment que les algorithmes les plus performants de l’IA échoue sur des problèmes du monde réel et ne sont adaptés qu’à la résolution de problèmes ludiques.

Le rapport fait l’objet d’un débat diffusé dans la série « Controversy » de la BBC en 1973. Le débat « The general purpose robot is a mirage » oppose Lighthill à l’équipe de Donald Michie, John McCarthy et Richard Gregory[21]. McCarthy a plus tard écrit que «le problème de l’explosion combinatoire a été reconnu en IA dès le début»^[22].

Le rapport a conduit à l’arrêt de la recherche sur l’IA au Royaume-Uni[20]. Seule quelques universités (Edinburgh, Essex et Sussex) continue leur programme. La recherche ne reprendra pas à grande échelle avant 1983, lorsque le projet de recherche Alvey du gouvernement britannique recommencé à financer l’IA, avec un budget de 350 millions de livres sterling, en réponse au projet japonias Fifth Generation project . Alvey a un certain nombre d’exigences propres au Royaume-Uni qui déplaisent à l’international, en particulier aux partenaires américains, et la phase 2 du programme n'ai pas financé.

Au cours des années 1960, la Defense Advanced Research Projects Agency (alors connue sous le nom d’« ARPA », aujourd’hui connue sous le nom de « DARPA ») a fourni des millions de dollars pour la recherche en IA. J. C. R. Licklider, le fondateur de la division informatique de la DARPA, croit en « un financement des personnes, et non des projets »^[2] et lui et plusieurs de ses successeurs permettent aux leaders de l’IA (tels que Marvin Minsky, John McCarthy, Herbert A. Simon ou Allen Newell) de dépenser cet argent comme ils le souhaitaient.

Cette attitude change après l’adoption de l’amendement Mansfield en 1969, qui exige de la DARPA qu’elle finance «des recherches directes axées sur des missions plutôt que des recherches fondamentales non orientées»^[23]. Les recherches fondamentales non orientées du type de celles qui avaient été menées dans les années 1960 ne sont plus financées par la DARPA. Les chercheurs doivent désormais démontrer que leur travail aboutira à la mise au point d’une technologie militaire utile. Les propositions de recherche en IA étaient soumises à des critères très stricts. La situation se détériore avec le rapport Lighthill et l’étude de la DARPA, qui ont tous deux conclu que la plupart des recherches en IA ne produiront rien de vraiment utile dans un avenir prévisible. Les fonds de la DARPA sont affectés à des projets spécifiques ayant des objectifs précis, comme des chars autonomes et des systèmes de gestion de combat. En 1974, il devient difficile de trouver des fonds pour des projets en IA^[23].

Le chercheur en IA Hans Moravec attribue la crise aux prédictions irréalistes de ses collègues : « De nombreux chercheurs se sont retrouvés dans un cercle vicieux d’exagération croissante. Leurs premières promesses à la DARPA étaient beaucoup trop optimistes. Bien sûr, ce qu’ils ont livré était bien en deçà de ces promesses. Mais ils estimaient qu’ils ne pouvaient pas, dans leur prochaine proposition, promettre moins que dans la première, alors ils ont promis plus ». Selon Moravec, la DARPA a donc perdu patience avec la recherche en IA. La DARPA a littéralement déclaré que « certains de ces chercheurs allaient recevoir une leçon » en voyant leurs contrats de deux millions de dollars par an réduits à presque rien ! »"^[24].

En 1971, la DARPA lance une ambitieuse expérience sur la compréhension de la parole. Les objectifs du projet sont de permettre la reconnaissance d’énoncés issus d’un vocabulaire limité, en quasi temps réel. À la fin du projet, en 1976, trois organisations présentent des solutions : l’université Carnegie Mellon (CMU), avec 2 systèmes (HEARSAY-II et HARPY) ; Bolt, Beranek and Newman (BBN) ; et System Development Corporation en collaboration avec le Stanford Research Institute (SDC/SRI). Le système qui se rapproche le plus des objectifs initiaux du projet est HARPY. Les performances relativement élevées de HARPY sont obtenues en grande partie en «câblant en dur» (hard-wiring) dans la base de connaissances du système des informations sur les énoncés possibles. Bien que HARPY apporte des contributions intéressantes, sa dépendance à une connaissance préalable très étendue limite l’applicabilité de cette approche à d’autres tâches de compréhension^[25].

Durant la même période, la DARPA se montre profondément déçue par les chercheurs travaillant sur le programme Speech Understanding Research (SUR) à l'université Carnegie Mellon. La DARPA estime qu’on lui a promis un système capable de répondre aux commandes vocales d’un pilote. L’équipe SUR développe un système capable de reconnaître l’anglais parlé, mais uniquement si les mots sont prononcés dans un ordre particulier. La DARPA estime avoir été dupée et, en 1974, elle annule un contrat de trois millions de dollars par an^[26].

De nombreuses années plus tard, plusieurs systèmes commerciaux de reconnaissance vocale couronnés de succès utilisent la technologie développée par l’équipe de Carnegie Mellon (tels que les modèles de Markov cachés), et le marché des systèmes de reconnaissance vocale atteint 4 milliards de dollars en 2001^[23].

D.R. Reddy propose une synthèse des progrès en compréhension de la parole à la fin du projet DARPA dans un article de 1976 publié dans les Proceedings of the IEEE^[27].

Thomas Haigh soutient que l’activité dans le domaine de l’intelligence artificielle ne ralentit pas durant cette période, même lorsque les financements du département de la Défense des États-Unis sont redirigés, principalement à la suite de législations du Congrès visant à séparer les activités militaires et académiques^[28]. Il affirme au contraire que l’intérêt professionnel pour l’IA augmente tout au long des années 1970. En utilisant le nombre d’adhérents du SIGART (Special Interest Group on Artificial Intelligence) de l'Association for Computing Machinery (ACM) comme indicateur de l’intérêt pour le sujet, l’auteur écrit:

"(…) J’identifie deux sources de données, dont aucune ne soutient l’idée d’un « hiver de l’IA » largement répandu durant les années 1970. La première concerne le nombre d’adhérents du SIGART de l’ACM, qui constitue alors le principal lieu de diffusion des nouvelles et des résumés de recherche dans le domaine de l’IA. Lorsque le rapport Lighthill est publié en 1973, ce groupe en forte croissance compte 1 241 membres, soit environ le double du niveau de 1969. Les cinq années suivantes sont généralement considérées comme la période la plus sombre du premier hiver de l’IA. La communauté de l’IA est-elle en déclin ? Non. Au milieu de l’année 1978, le nombre de membres du SIGART a presque triplé pour atteindre 3 500. Non seulement le groupe croît plus rapidement que jamais, mais il augmente proportionnellement plus vite que l’ACM dans son ensemble, laquelle commence à plafonner (avec une croissance inférieure à 50 % sur l’ensemble de la période allant de 1969 à 1978). Un membre de l’ACM sur onze appartient alors au SIGART."^[28]

Summarize Timeline Top Qs Fact Check

Dans les années 1980, une forme de programme d’IA appelée «système expert» est adoptée par des entreprises du monde entier. Le premier système expert commercial est XCON, développé à l'université Carnegie Mellon pour Digital Equipment Corporation. Il rencontre un succès considérable. Des entreprises partout dans le monde commencent à développer et à déployer des systèmes experts. Dès 1985, elles dépensent plus d’un milliard de dollars en IA, la majeure partie allant à des départements d’IA internes. Une industrie se développe pour les soutenir, avec des sociétés de logiciels comme Teknowledge et Intellicorp (KEE), et des sociétés de matériel comme Symbolics et LISP Machines, qui fabriquent des ordinateurs spécialisés, appelés machines LISP, optimisés pour traiter le langage de programmation LISP, le langage privilégié de la recherche en IA aux États-Unis^[29].

En 1987, trois ans après la prédiction de Minsky et Schank, le marché du matériel d’IA spécialisé basé sur LISP s’effondre. Les stations de travail de sociétés comme Sun Microsystems offrent une alternative puissante aux machines LISP, et des entreprises comme Lucid proposent un environnement LISP pour cette nouvelle classe de stations de travail. Les performances de ces stations de travail généralistes deviennent un défi de plus en plus difficile pour les fabricants de machines LISP. Des sociétés comme Lucid et Franz LISP proposent des versions de LISP toujours plus puissantes et portables sur tous les systèmes UNIX. Par exemple, des tests de performance montrent que les stations de travail sont plus performantes que les machines LISP^[30]. Plus tard, les ordinateurs de bureau fabriqués par Apple et IBM offrent eux aussi une architecture plus simple pour exécuter des applications LISP.

Dès 1987, certains ordinateurs de bureau deviennent aussi puissants que les machines LISP plus coûteuses. Ces ordinateurs disposent également de moteurs à base de règles comme CLIPS^[31]. Il n'y a plus aucune raison d’acheter une machine onéreuse spécialisée dans l’exécution de LISP. Une industrie entière, évaluée à un demi-milliard de dollars, est remplacée en une seule année^[2].

Au début des années 1990, la plupart des entreprises commerciales liées à LISP disparaissent, notamment Symbolics, LISP Machines Inc., Lucid Inc., etc. D’autres entreprises, comme Texas Instruments et Xerox, abandonnent le secteur. Un petit nombre d’entreprises clientes, utilisant des systèmes écrits en LISP et développés sur des plateformes de machines LISP, continuent à maintenir ces systèmes^[29].

Au début des années 1990, les premiers systèmes experts ayant rencontré du succès, comme XCON, s’avèrent trop coûteux à maintenir. Ils sont difficiles à mettre à jour, ils ne savent pas apprendre, ils sont «fragiles», c’est-à-dire qu’ils peuvent commettre des erreurs importantes lorsqu’on leur soumet des entrées inhabituelles. Ils se heurtent à des problèmes (comme le problème de qualification) identifiés depuis des années dans les travaux sur la logique non monotone. Les systèmes experts se montrent utiles, mais seulement dans quelques contextes bien spécifiques^[29],[2]Un autre obstacle concerne la difficulté computationnelle de la maintenance de la vérité (truth maintenance) lorsqu’il s’agit de gérer des connaissances générales. KEE s’appuie sur une approche à base d’hypothèses, permettant de raisonner sur des scénarios à mondes multiples, mais cette approche reste difficile à comprendre et à appliquer.

Les quelques entreprises qui commercialisent encore des générateurs de systèmes experts (expert system shells) sont finalement contraintes de réduire la voilure et de chercher de nouveaux marchés et de nouveaux paradigmes logiciels, comme le raisonnement à partir de cas (case-based reasoning) ou l’accès universel aux bases de données. La maturité de Common Lisp permet de préserver de nombreux systèmes, comme ICAD, qui trouve des applications en ingénierie fondée sur les connaissances (knowledge-based engineering). D’autres systèmes, comme KEE d’Intellicorp, passent de Lisp à une variante de C++ sur PC et contribuent à établir les technologies orientées objet, notamment en apportant un soutien important au développement d’UML (voir UML Partners).

En 1981, le ministère japonais du Commerce international et de l’Industrie mobilise 850 millions de dollars pour le projet informatique "cinquième Generation". Son objectif est d’écrire des programmes et de construire des machines capables de tenir une conversation, de traduire des langues, d’interpréter des images et de raisonner comme des êtres humains. En 1991, la liste impressionnante d’objectifs formulée en 1981 n’est pas atteinte. D’après HP Newquist dans The Brain Makers, « le 1^er juin 1992, le projet Fifth Generation se termine non pas dans un rugissement de réussite, mais dans un soupir »^[29]. Comme pour d’autres projets en intelligence artificielle, les attentes se situent bien au-delà de ce qui est réellement possible^[29],[2].

En 1983, en réponse au projet de « cinquième génération », la DARPA recommence à financer la recherche en intelligence artificielle (IA) via la Strategic Computing Initiative (SCI). Dans sa conception initiale, le programme démarre avec des objectifs pratiques et atteignables, tout en incluant, à très long terme, l’idée d’une intelligence artificielle générale (IAG) comme objectif final. Le programme est piloté par l’Information Processing Technology Office (IPTO) et vise aussi le calcul intensif (supercalculateurs) ainsi que la microélectronique. En 1985, 92 projets sont en cours dans 60 institutions pour un total 100 millions de dollars, pour moitié dans l’industrie, pour moitié dans les universités et les laboratoires publics. La SCI finance largement la recherche en IA^[16].

Jack Schwarz, qui prend la direction de l’IPTO en 1987, considère les systèmes experts comme de la « programmation astucieuse » et réduit le financement de l’IA de façon « profonde et brutale », en « vidant de sa substance » la SCI. Pour Schwarz, la DARPA doit concentrer ses financements sur les technologies les plus prometteuses : selon ses mots, la DARPA doit « surfer » plutôt que « faire du surplace », et il est convaincu que l’IA n’est pas « la prochaine vague ». Des acteurs internes au programme pointent des problèmes de communication, d’organisation et d’intégration. Quelques projets survivent aux coupes budgétaires, notamment un assistant pour pilote et un véhicule terrestre autonome (qui ne seront jamais livrés)^[16].

Au début des années 2000, plusieurs articles suggèrent que la réputation de l’IA reste mauvaise :

• Alex Castro, cité dans The Economist (7 juin 2007) : « [Les investisseurs] sont rebutés par le terme « reconnaissance vocale » qui, comme « intelligence artificielle », est associé à des systèmes qui, trop souvent, ne tiennent pas leurs promesses. »^[32].
• Patty Tascarella, dans le Pittsburgh Business Times (2006) : « Certains pensent que le mot “robotique” porte en réalité une stigmatisation qui réduit les chances d’une entreprise d’obtenir des financements. »^[33].
• John Markoff, dans le New York Times (2005) : « À son point le plus bas, certains informaticiens et ingénieurs logiciels évitent le terme “intelligence artificielle”, par crainte d’être perçus comme des rêveurs exaltés. »^[34]

Au milieu des années 2000, de nombreux chercheurs en IA choisissent délibérément d’appeler leurs travaux autrement — par exemple informatique, apprentissage automatique, analytique, systèmes à base de connaissances, gestion de règles métier, systèmes cognitifs, systèmes intelligents, agents intelligents ou intelligence computationnelle — afin de montrer que leurs recherches mettent l’accent sur certains outils ou qu’elles ciblent un sous-problème précis. Même si cela s’explique en partie par l’idée que leur domaine diffère de l’IA, ces dénomminations aident aussi à obtenir des financements en évitant la stigmatisation liée aux promesses non tenues associées au terme « intelligence artificielle »^[34].

À la fin des années 1990 et au début du XXI^e siècle, les technologies d’IA se diffusent largement comme briques de systèmes plus vastes^[23], mais le domaine est rarement crédité de ces réussites. En 2006, Nick Bostrom explique que « beaucoup d’IA se retrouve intégrée dans des applications courantes, souvent sans être appelée IA, parce que dès qu’une technologie devient suffisamment utile et suffisamment répandue, on ne l’étiquette plus « IA »^[35] ». À peu près à la même époque, Rodney Brooks affirme : « il existe ce mythe absurde selon lequel l’IA aurait échoué, mais l’IA est présente partout, à chaque seconde de la journée »^[36].