La nouvelle technologie Soft Robotics utilise les ombres pour détecter le toucher

Bien que les robots puissent exécuter un large éventail d’actions vitales et que leur importance ait considérablement augmenté pendant la pandémie, la discussion homme-robot en est encore à ses balbutiements en raison du manque de sensibilité de la machine. Avec ce problème spécifique à l’esprit, les chercheurs de l’Université Cornell ont créé un moyen pour les robots doux d’identifier le toucher humain en examinant les ombres d’une personne à l’aide d’une caméra.

Actuellement, plusieurs groupes développent des skins électroniques pour robots. Mais les chercheurs de l’Université Cornell appliquent une approche plus simple, utilisant des caméras à imagerie d’ombre pour fournir aux robots le sens du toucher.

La méthode, connue sous le nom de «ShadowSense», est peu coûteuse car elle permet de détecter diverses interactions physiques humaines en utilisant une caméra USB standard. L’appareil «capture» les ombres produites par les gestes de la main à proximité et en contact direct avec la peau du robot. Un logiciel d’apprentissage automatique analyse le mouvement et le catégorise.

Guy Hoffman, auteur principal de l’article, boursier de la faculté de la famille Mills et professeur agrégé à l’Université Cornell, a déclaré:

Le toucher est un mode de communication si important pour la plupart des organismes, mais il a été pratiquement absent de l’interaction homme-robot. L’une des raisons est que le toucher du corps entier nécessitait de nombreux capteurs et n’était donc pas pratique à mettre en œuvre. Cette recherche offre une alternative peu coûteuse.

Les roboticiens ont estimé que le toucher du corps entier pour les robots n’était pas pratique jusqu’à présent, car l’exploit nécessite tant de capteurs de contact. La nouvelle méthode de Hoffman et de ses collègues offre une alternative efficace. Hoffman explique dans l’article que la technologie permet la connexion avec des robots sans avoir besoin de grands et coûteux réseaux de capteurs. De plus, la suppression du besoin de capteurs de contact réduit le poids et le câblage requis.

L’étudiant au doctorat Yuhan Hu, auteur principal de l’article, a déclaré:

En plaçant une caméra à l’intérieur du robot, nous pouvons déduire comment la personne la touche et quelle est l’intention de la personne simplement en regardant les images d’ombre. Nous pensons qu’il y a là un potentiel intéressant car il y a beaucoup de robots sociaux qui ne sont pas capables de détecter les gestes tactiles.

La technologie est née dans le cadre d’un projet collaboratif visant à développer des robots gonflables qui peuvent guider les personnes vers la sécurité lors d’évacuations de crise – comme à travers un bâtiment rempli de fumée où le robot pouvait identifier le toucher de la main et conduire la personne vers une sortie.

Le prototype de robot des chercheurs comprend une vessie gonflable souple en peau de nylon tendue autour d’un squelette cylindrique d’environ quatre pieds de haut, installé sur une base mobile. Sous la peau se trouve la caméra USB du robot, qui se connecte à un ordinateur portable.

Les chercheurs créent un algorithme basé sur un réseau neuronal qui utilise des données d’entraînement précédemment enregistrées pour différencier six gestes tactiles – ne pas toucher du tout, toucher avec une paume, toucher avec deux mains, poinçonner, étreindre et pointer. Ils ont formé leur algorithme de classification des interactions physiques avec des ombres liées à ces six gestes. Les gens peuvent même programmer le système pour qu’il réponde à des gestes et des touches spécifiques.

Leur robot parvient à distinguer les différents gestes avec une précision de 87,5% à 96%. Les conditions d’éclairage ont un impact sur le résultat.

Et les fabricants peuvent potentiellement convertir la peau du robot en un écran d’affichage interactif. En fait, l’appareil ne doit pas du tout être un robot! Les applications de la technologie ShadowSense ne se limitent pas à la robotique. Quelqu’un peut l’incorporer dans d’autres matériaux, tels que des ballons, en les transformant en produits tactiles.

Hoffman a déclaré:

Alors que la technologie a des limites spécifiques, par exemple, nécessitant un type de vue de la caméra à l’épiderme du robot, ces contraintes pourraient déclencher une approche qui est une nouvelle conception de robot social qui pourrait prendre en charge un capteur tactile visuel comme celui que nous avons proposé. À l’avenir, vous souhaitez expérimenter l’utilisation de dispositifs optiques tels que, par exemple, des lentilles et des miroirs pour activer le formulaire supplémentaire.

Non seulement ShadowSense rend les robots plus conviviaux, mais il assure également la confidentialité – un confort qui devient rare en ces temps de haute technologie. L’utilisation des ombres et du toucher comme méthode d’interaction répond à certains des problèmes de confidentialité liés à la reconnaissance vocale et faciale.

Il a dit:

L’interaction tactile est le même canal qui lie les termes de l’interaction homme-homme. C’est une modalité intime. Et ce n’est pas facilement remplaçable.

Si le robot ne peut vous voir que sous la forme de votre ombre, il peut identifier ce que vous faites sans prendre la fidélité qui est l’essentiel de votre look. Cela vous offre un filtre et une protection physiques et vous offre un confort psychologique.

L’équipe a déclaré que les robots guides mobiles pourraient utiliser la technologie pour répondre aux coups et aux coups des humains à proximité. De même, les droïdes domestiques qui fournissent aux personnes âgées de la compagnie et les aident dans des tâches simples prédéterminées pourraient utiliser la technologie.