Résoudre les défis de la fabrication de pizzas par IA | Réseaux technologiques

Imaginez un pizzaiolo travaillant avec une boule de pâte. Elle peut utiliser une spatule pour soulever la pâte sur une planche à découper, puis utiliser un rouleau à pâtisserie pour l’aplatir en cercle. Facile, non ? Pas si ce pizzaiolo est un robot.

Pour un robot, travailler avec un objet déformable comme la pâte est délicat car la forme de la pâte peut changer de plusieurs manières, difficiles à représenter avec une équation. De plus, créer une nouvelle forme à partir de cette pâte nécessite plusieurs étapes et l’utilisation de différents outils. Il est particulièrement difficile pour un robot d’apprendre une tâche de manipulation avec une longue séquence d’étapes – où il y a beaucoup de choix possibles – car l’apprentissage se fait souvent par essais et erreurs.

Des chercheurs du MIT, de l’Université Carnegie Mellon et de l’Université de Californie à San Diego ont trouvé une meilleure solution. Ils ont créé un cadre pour un système de manipulation robotique qui utilise un processus d’apprentissage en deux étapes, ce qui pourrait permettre à un robot d’effectuer des tâches complexes de manipulation de pâte sur une longue période. Un algorithme « enseignant » résout chaque étape que le robot doit franchir pour accomplir la tâche. Ensuite, il forme un modèle d’apprentissage automatique « étudiant » qui apprend des idées abstraites sur le moment et la manière d’exécuter chaque compétence dont il a besoin pendant la tâche, comme l’utilisation d’un rouleau à pâtisserie. Avec cette connaissance, le système raisonne sur la façon d’exécuter les compétences pour accomplir l’ensemble de la tâche.

Les chercheurs montrent que cette méthode, qu’ils appellent DiffSkill, peut effectuer des tâches de manipulation complexes dans des simulations, comme couper et étaler de la pâte, ou rassembler des morceaux de pâte autour d’une planche à découper, tout en surpassant les autres méthodes d’apprentissage automatique.

Au-delà de la fabrication de pizzas, cette méthode pourrait être appliquée dans d’autres contextes où un robot doit manipuler des objets déformables, comme un robot soignant qui nourrit, baigne ou habille une personne âgée ou ayant une déficience motrice.

« Cette méthode est plus proche de la façon dont nous, en tant qu’humains, planifions nos actions. Lorsqu’un humain effectue une tâche à long terme, nous n’écrivons pas tous les détails. Nous avons un planificateur de niveau supérieur qui nous indique approximativement quelles sont les étapes et certains des objectifs intermédiaires que nous devons atteindre en cours de route, puis nous les exécutons », explique Yunzhu Li, étudiant diplômé en informatique et intelligence artificielle. Laboratoire (CSAIL), et auteur d’un article présentant DiffSkill.

Les co-auteurs de Li incluent l’auteur principal Xingyu Lin, un étudiant diplômé à l’Université Carnegie Mellon (CMU) ; Zhiao Huang, étudiant diplômé de l’Université de Californie à San Diego ; Joshua B. Tenenbaum, professeur de développement de carrière Paul E. Newton en sciences cognitives et calcul au département des sciences cérébrales et cognitives du MIT et membre du CSAIL ; David Held, professeur adjoint à la CMU ; et l’auteur principal Chuang Gan, chercheur au MIT-IBM Watson AI Lab. La recherche sera présentée à la Conférence internationale sur les représentations de l’apprentissage.

Étudiant et enseignant

Le « professeur » dans le cadre DiffSkill est un algorithme d’optimisation de trajectoire qui peut résoudre des tâches à horizon court, où l’état initial d’un objet et l’emplacement cible sont proches l’un de l’autre. L’optimiseur de trajectoire fonctionne dans un simulateur qui modélise la physique du monde réel (connu sous le nom de simulateur de physique différentiable, qui met le « Diff » dans « DiffSkill »). L’algorithme « enseignant » utilise les informations du simulateur pour apprendre comment la pâte doit se déplacer à chaque étape, une à la fois, puis génère ces trajectoires.

Ensuite, le réseau neuronal « élève » apprend à imiter les actions de l’enseignant. En entrée, il utilise deux images de caméra, une montrant la pâte dans son état actuel et une autre montrant la pâte à la fin de la tâche. Le réseau de neurones génère un plan de haut niveau pour déterminer comment lier différentes compétences pour atteindre l’objectif. Il génère ensuite des trajectoires spécifiques à horizon court pour chaque compétence et envoie des commandes directement aux outils.

Les chercheurs ont utilisé cette technique pour expérimenter trois tâches différentes de manipulation de pâte simulée. Dans une tâche, le robot utilise une spatule pour soulever la pâte sur une planche à découper, puis utilise un rouleau à pâtisserie pour l’aplatir. Dans un autre, le robot utilise une pince pour ramasser la pâte de partout sur le comptoir, la place sur une spatule et la transfère sur une planche à découper. Dans la troisième tâche, le robot coupe un tas de pâte en deux à l’aide d’un couteau, puis utilise une pince pour transporter chaque morceau à différents endroits.

Un cran au-dessus du reste

DiffSkill a été en mesure de surpasser les techniques populaires qui reposent sur l’apprentissage par renforcement, où un robot apprend une tâche par essais et erreurs. En fait, DiffSkill était la seule méthode capable de mener à bien les trois tâches de manipulation de la pâte. Fait intéressant, les chercheurs ont découvert que le réseau neuronal « étudiant » était même capable de surpasser l’algorithme « enseignant », dit Lin.

« Notre cadre offre aux robots une nouvelle façon d’acquérir de nouvelles compétences. Ces compétences peuvent ensuite être enchaînées pour résoudre des tâches plus complexes qui dépassent les capacités des systèmes robotiques précédents », explique Lin.

Parce que leur méthode se concentre sur le contrôle des outils (spatule, couteau, rouleau à pâtisserie, etc.), elle pourrait être appliquée à différents robots, mais seulement s’ils utilisent les outils spécifiques définis par les chercheurs. A l’avenir, ils envisagent d’intégrer la forme d’un outil dans le raisonnement du réseau « étudiant » afin qu’il puisse être appliqué à d’autres équipements.

Les chercheurs ont l’intention d’améliorer les performances de DiffSkill en utilisant des données 3D comme entrées, au lieu d’images qui peuvent être difficiles à transférer de la simulation au monde réel. Ils souhaitent également rendre le processus de planification du réseau neuronal plus efficace et collecter des données de formation plus diversifiées pour améliorer la capacité de DiffSkill à généraliser à de nouvelles situations. À long terme, ils espèrent appliquer DiffSkill à des tâches plus diverses, y compris la manipulation de tissus.

Ce travail est soutenu, en partie, par la National Science Foundation, LG Electronics, le MIT-IBM Watson AI Lab, l’Office of Naval Research et le programme Machine Common Sense de la Defense Advanced Research Projects Agency.

Cet article a été republié à partir des documents suivants. Remarque : le matériel peut avoir été modifié pour la longueur et le contenu. Pour plus d’informations, veuillez contacter la source citée.