Pourquoi Facebook se lance-t-il dans la crypto-monnaie ?

Un regard en arrière sur les décennies écoulées depuis cette réunion montre à quelle fréquence les espoirs des chercheurs en IA ont été anéantis et à quel point ces revers les ont peu dissuadés. Aujourd’hui, alors même que l’IA révolutionne les industries et menace de bouleverser le marché du travail mondial, de nombreux experts se demandent si l’IA d’aujourd’hui atteint ses limites. Comme Charles Choi le décrit dans « Seven Revealing Ways AIs Fail », les faiblesses des systèmes d’apprentissage en profondeur d’aujourd’hui deviennent de plus en plus apparentes. Pourtant, il y a peu de sentiment de malheur parmi les chercheurs. Oui, il est possible que nous soyons dans un autre hiver de l’IA dans un avenir pas si lointain. Mais c’est peut-être le moment où des ingénieurs inspirés nous introduisent enfin dans un été éternel de l’esprit machine.

Des chercheurs développent une IA symbolique a entrepris d’enseigner explicitement le monde aux ordinateurs. Leur principe fondateur était que la connaissance peut être représentée par un ensemble de règles et que les programmes informatiques peuvent utiliser la logique pour manipuler cette connaissance. Les principaux symbolistes Allen Newell et Herbert Simon ont soutenu que si un système symbolique avait suffisamment de faits et de prémisses structurés, l’agrégation produirait finalement une large intelligence.

Les connexionnistes, d’autre part, inspirés par la biologie, ont travaillé sur des « réseaux de neurones artificiels » qui capteraient l’information et lui donneraient un sens eux-mêmes. L’exemple pionnier était le perceptron, une machine expérimentale construite par le psychologue Cornell Frank Rosenblatt avec un financement de l’US Navy. Il avait 400 capteurs de lumière qui agissaient ensemble comme une rétine, fournissant des informations à environ 1 000 « neurones » qui effectuaient le traitement et produisaient une seule sortie. En 1958, un New York Times L’article citait Rosenblatt disant que « la machine serait le premier appareil à penser comme le cerveau humain ».

Frank Rosenblatt a inventé le perceptron, le premier réseau de neurones artificiels.Division des collections rares et manuscrites de l’Université Cornell

Un optimisme débridé a encouragé les agences gouvernementales aux États-Unis et au Royaume-Uni à investir de l’argent dans la recherche spéculative. En 1967, le professeur du MIT, Marvin Minsky, écrivait : « D’ici une génération… le problème de la création d' »intelligence artificielle » sera substantiellement résolu. » Pourtant, peu de temps après, le financement gouvernemental a commencé à se tarir, poussé par le sentiment que la recherche en IA n’était pas à la hauteur de son propre battage médiatique. Les années 1970 ont vu le premier hiver de l’IA.

Les vrais croyants ont persévéré, cependant. Et au début des années 1980, un enthousiasme renouvelé a apporté un apogée aux chercheurs en IA symbolique, qui ont été acclamés et financés pour des « systèmes experts » qui encodaient les connaissances d’une discipline particulière, comme le droit ou la médecine. Les investisseurs espéraient que ces systèmes trouveraient rapidement des applications commerciales. L’aventure symbolique la plus célèbre de l’IA a commencé en 1984, lorsque le chercheur Douglas Lenat a commencé à travailler sur un projet qu’il a nommé Cyc qui visait à coder le sens commun dans une machine. À ce jour, Lenat et son équipe continuent d’ajouter des termes (faits et concepts) à l’ontologie de Cyc et d’expliquer les relations entre eux via des règles. En 2017, l’équipe comptait 1,5 million de termes et 24,5 millions de règles. Pourtant, Cyc est encore loin d’atteindre l’intelligence générale.

À la fin des années 1980, les vents froids du commerce ont provoqué le deuxième hiver de l’IA. Le marché des systèmes experts s’est effondré car ils nécessitaient du matériel spécialisé et ne pouvaient pas rivaliser avec les ordinateurs de bureau moins chers qui devenaient courants. Dans les années 1990, il n’était plus à la mode académique de travailler sur l’IA symbolique ou les réseaux de neurones, car les deux stratégies semblaient avoir échoué.

Mais les ordinateurs bon marché qui ont supplanté les systèmes experts se sont avérés être une aubaine pour les connexionnistes, qui ont soudainement eu accès à suffisamment de puissance informatique pour faire fonctionner des réseaux de neurones avec de nombreuses couches de neurones artificiels. De tels systèmes sont devenus connus sous le nom de réseaux de neurones profonds, et l’approche qu’ils permettaient s’appelait apprentissage en profondeur. Geoffrey Hinton, de l’Université de Toronto, a appliqué un principe appelé rétro-propagation pour que les réseaux neuronaux apprennent de leurs erreurs (voir « Comment fonctionne l’apprentissage en profondeur »).

L’un des post-doctorants de Hinton, Yann LeCun, a rejoint les laboratoires AT&T Bell en 1988, où lui et un post-doctorant nommé Yoshua Bengio ont utilisé des réseaux neuronaux pour la reconnaissance optique de caractères ; Les banques américaines ont rapidement adopté la technique de traitement des chèques. Hinton, LeCun et Bengio ont finalement remporté le prix Turing 2019 et sont parfois appelés les parrains de l’apprentissage en profondeur.

Mais les partisans du réseau neuronal avaient encore un gros problème : ils avaient un cadre théorique et une puissance informatique croissante, mais il n’y avait pas assez de données numériques dans le monde pour former leurs systèmes, du moins pas pour la plupart des applications. Le printemps n’était pas encore arrivé.

Au cours des deux dernières décennies, tout a changé. En particulier, le World Wide Web s’est épanoui, et tout à coup, il y avait des données partout. Les appareils photo numériques, puis les smartphones, ont rempli Internet d’images, des sites Web tels que Wikipedia et Reddit regorgeaient de texte numérique librement accessible et YouTube proposait de nombreuses vidéos. Enfin, il y avait suffisamment de données pour former des réseaux de neurones pour un large éventail d’applications.

L’autre grand développement est venu avec l’aimable autorisation de l’industrie du jeu. Des entreprises telles que Nvidia avaient développé des puces appelées unités de traitement graphique (GPU) pour le traitement lourd nécessaire au rendu des images dans les jeux vidéo. Les développeurs de jeux ont utilisé des GPU pour effectuer des types sophistiqués d’ombrage et de transformations géométriques. Les informaticiens ayant besoin d’une grande puissance de calcul se sont rendu compte qu’ils pouvaient essentiellement amener un GPU à effectuer d’autres tâches, telles que la formation de réseaux de neurones. Nvidia a remarqué la tendance et a créé CUDA, une plate-forme qui a permis aux chercheurs d’utiliser des GPU pour le traitement à usage général. Parmi ces chercheurs se trouvait un Ph.D. étudiant dans le laboratoire de Hinton nommé Alex Krizhevsky, qui a utilisé CUDA pour écrire le code d’un réseau de neurones qui a époustouflé tout le monde en 2012.

Le professeur du MIT, Marvin Minsky, a prédit en 1967 que la véritable intelligence artificielle serait créée en une génération.Le musée du MIT

Il l’a écrit pour le concours ImageNet, qui a mis au défi les chercheurs en IA de créer des systèmes de vision par ordinateur capables de trier plus d’un million d’images en 1 000 catégories d’objets. Alors que AlexNet de Krizhevsky n’était pas le premier réseau neuronal à être utilisé pour la reconnaissance d’images, sa performance au concours de 2012 a attiré l’attention du monde. Le taux d’erreur d’AlexNet était de 15 pour cent, comparé au taux d’erreur de 26 pour cent de la deuxième meilleure entrée. Le réseau neuronal doit sa victoire fulgurante à la puissance du GPU et à une structure « profonde » de plusieurs couches contenant 650 000 neurones au total. Lors du concours ImageNet de l’année suivante, presque tout le monde utilisait des réseaux de neurones. En 2017, de nombreux taux d’erreur des concurrents étaient tombés à 5 % et les organisateurs ont mis fin au concours.

L’apprentissage en profondeur a décollé. Avec la puissance de calcul des GPU et de nombreuses données numériques pour former des systèmes d’apprentissage en profondeur, les voitures autonomes pourraient naviguer sur les routes, les assistants vocaux pourraient reconnaître la parole des utilisateurs et les navigateurs Web pourraient traduire entre des dizaines de langues. Les IA ont également battu des champions humains dans plusieurs jeux qui étaient auparavant considérés comme impossibles à gagner par les machines, notamment l’ancien jeu de société Go et le jeu vidéo. StarCraft II. L’essor actuel de l’IA a touché tous les secteurs, offrant de nouvelles façons de reconnaître les modèles et de prendre des décisions complexes.

Un regard en arrière à travers les décennies montre à quelle fréquence les espoirs des chercheurs en IA ont été anéantis et à quel point ces revers les ont peu dissuadés.

Mais l’éventail croissant de triomphes dans l’apprentissage en profondeur repose sur l’augmentation du nombre de couches dans les réseaux de neurones et l’augmentation du temps GPU consacré à leur formation. Une analyse de la société de recherche sur l’IA OpenAI a montré que la quantité de puissance de calcul requise pour former les plus grands systèmes d’IA doublait tous les deux ans jusqu’en 2012, puis doublait tous les 3,4 mois. Comme Neil C. Thompson et ses collègues l’écrivent dans « Deep Learning’s Diminishing Returns », de nombreux chercheurs craignent que les besoins en calcul de l’IA ne soient sur une trajectoire insoutenable. Pour éviter de faire exploser le budget énergétique de la planète, les chercheurs doivent sortir des méthodes établies de construction de ces systèmes.

Bien qu’il puisse sembler comme si le camp du réseau neuronal avait définitivement trompé les symbolistes, en vérité l’issue de la bataille n’est pas si simple. Prenez, par exemple, la main robotique d’OpenAI qui a fait les gros titres pour manipuler et résoudre un Rubik’s cube. Le robot a utilisé des réseaux de neurones et IA symbolique. C’est l’un des nombreux nouveaux systèmes neuro-symboliques qui utilisent des réseaux neuronaux pour la perception et l’IA symbolique pour le raisonnement, une approche hybride qui peut offrir des gains d’efficacité et d’explicabilité.

Bien que les systèmes d’apprentissage en profondeur aient tendance à être des boîtes noires qui font des inférences de manière opaque et mystifiante, les systèmes neuro-symboliques permettent aux utilisateurs de regarder sous le capot et de comprendre comment l’IA est parvenue à ses conclusions. L’armée américaine se méfie particulièrement des systèmes de boîte noire, comme le décrit Evan Ackerman dans « Comment l’armée américaine transforme les robots en joueurs d’équipe », les chercheurs de l’armée étudient donc diverses approches hybrides pour conduire leurs robots et leurs véhicules autonomes.

Imaginez si vous pouviez prendre l’un des robots de déneigement de l’armée américaine et lui demander de vous préparer une tasse de café. C’est une proposition risible aujourd’hui, car les systèmes d’apprentissage en profondeur sont construits à des fins étroites et ne peuvent pas généraliser leurs capacités d’une tâche à une autre. De plus, l’apprentissage d’une nouvelle tâche nécessite généralement qu’une IA efface tout ce qu’elle sait sur la façon de résoudre sa tâche précédente, une énigme appelée oubli catastrophique. Chez DeepMind, le laboratoire d’IA de Google basé à Londres, la célèbre roboticienne Raia Hadsell s’attaque à ce problème avec une variété de techniques sophistiquées. Dans « Comment DeepMind réinvente le robot », Tom Chivers explique pourquoi ce problème est si important pour les robots agissant dans le monde réel imprévisible. D’autres chercheurs étudient de nouveaux types de méta-apprentissage dans l’espoir de créer des systèmes d’IA qui apprennent à apprendre, puis à appliquer cette compétence à n’importe quel domaine ou tâche.

Toutes ces stratégies peuvent aider les chercheurs à atteindre leur objectif le plus élevé : construire une IA avec le type d’intelligence fluide que nous regardons nos enfants développer. Les tout-petits n’ont pas besoin d’une énorme quantité de données pour tirer des conclusions. Ils observent simplement le monde, créent un modèle mental de son fonctionnement, agissent et utilisent les résultats de leur action pour ajuster ce modèle mental. Ils itèrent jusqu’à ce qu’ils comprennent. Ce processus est extrêmement efficace et efficient, et il dépasse de loin les capacités de l’IA la plus avancée d’aujourd’hui.

Bien que le niveau d’enthousiasme actuel ait valu à l’IA son propre cycle de battage médiatique Gartner, et bien que le financement de l’IA ait atteint un niveau record, il y a peu de preuves qu’il y a un échec dans notre avenir. Les entreprises du monde entier adoptent des systèmes d’IA parce qu’elles constatent des améliorations immédiates de leurs résultats et qu’elles ne reviendront jamais en arrière. Il reste à voir si les chercheurs trouveront des moyens d’adapter le deep learning pour le rendre plus flexible et robuste, ou concevront de nouvelles approches qui n’ont pas encore été rêvées dans la quête de 65 ans pour rendre les machines plus comme nous.

Cet article apparaît dans le numéro imprimé d’octobre 2021 sous le titre « Le passé turbulent et l’avenir incertain de l’IA ».