Le prototype de gant méta haptique vous permet de ressentir des objets VR à l’aide de poches d’air


Vous ne pouvez pas caresser un chien avec les nouveaux gants de réalité virtuelle de haute technologie de Meta. Mais les chercheurs se rapprochent.

Meta (anciennement Facebook) est connu pour ses mouvements de grande envergure dans la réalité virtuelle et augmentée. Depuis sept ans, cependant, il travaille tranquillement sur l’un de ses projets les plus ambitieux à ce jour : un gant haptique qui reproduit des sensations comme saisir un objet ou passer la main le long d’une surface. Alors que Meta ne laisse pas le gant sortir de sa division de recherche Reality Labs, la société le montre pour la première fois aujourd’hui, et elle voit l’appareil – aux côtés d’autres technologies portables – comme l’avenir de l’interaction VR et AR.

À un niveau simplifié, le prototype haptique de Meta est un gant doublé d’une quinzaine de coussinets en plastique striés et gonflables appelés actionneurs. Les coussinets sont agencés pour s’adapter le long de la paume du porteur, le dessous de ses doigts et le bout de ses doigts. Le gant agit également comme un contrôleur VR. Le dos comporte de petits marqueurs blancs qui permettent aux caméras de suivre la façon dont les doigts se déplacent dans l’espace, et il est doté de capteurs internes qui capturent la façon dont les doigts du porteur se plient.

Un gant haptique Reality Labs

Lorsque vous mettez le gant et entrez dans une expérience VR ou AR, un système de contrôle sophistiqué ajuste le niveau de gonflage, créant une pression sur différentes parties de votre main. Si vous touchez un objet virtuel du bout des doigts, vous ressentirez la sensation de cet objet qui s’enfonce dans votre peau. Si vous saisissez un objet virtuel, les longs actionneurs à doigts se raidissent, créant une sensation de résistance. Ces sensations s’associent à des signaux visuels et sonores pour produire l’illusion d’un toucher physique.

La technologie s’appuie sur le domaine relativement nouveau de la robotique douce, remplaçant les moteurs volumineux par de minuscules valves d’air. Meta y travaille presque depuis l’acquisition de la startup Oculus VR en 2014. Elle a développé son premier prototype – un doigt avec un seul actionneur – en 2015.

L’une des premières expériences dont se souvient Michael Abrash, directeur de Reality Labs, a été de regarder une plaque virtuelle depuis l’intérieur d’un casque VR – où un seul actionneur, combiné à l’image virtuelle et au son du frottement de la céramique rugueuse, était incroyablement convaincant. « J’ai vu la plaque, et j’ai vu mon doigt sur la plaque, et j’ai entendu le son – ce genre de bruit de raclement à travers elle – et j’ai ressenti la vibration », dit-il. « Et je vais vous dire, je passais mon doigt sur une assiette en céramique. »

Le toucher simulé n’est pas un phénomène entièrement nouveau. Même en combinant la réalité virtuelle avec quelque chose d’aussi simple que les vibrations d’un contrôleur, les gens ont davantage l’impression de toucher quelque chose, et de nombreuses entreprises ont travaillé sur des dispositifs portables qui suivent les mains des utilisateurs ou procurent une sensation haptique. Certains intègrent même des sensations de température, ce que Reality Labs ne privilégie pas.

Mais Meta est sur le point de commercialiser des gants haptiques d’une manière que d’autres entreprises ne peuvent pas faire. La plupart des fabricants d’appareils haptiques vendent des produits spécialisés pour les institutions militaires, industrielles ou universitaires. En revanche, Meta produit le système Quest VR dominant axé sur le consommateur et investit des milliards de dollars dans la construction d’un « métaverse » qui intègre la VR et la RA. S’il lance un système de gants haptiques, Meta peut garantir que le système fonctionnera sur le Quest et encourager les développeurs d’applications à l’utiliser.

Reality Labs imagine que les gants sont l’une des multiples méthodes de contrôleur pour les futurs lunettes et casques, aux côtés de solutions plus légères basées sur l’électromyographie ou l’EMG – un système qui lit les signaux nerveux sur votre bras et les traduit en entrée numérique. Meta a acquis la société de bracelets EMG CTRL-Labs en 2019, et l’équipe EMG travaille séparément de l’équipe de conception haptique, bien que les deux technologies puissent facilement se chevaucher.

« [Doug] Engelbart et Xerox PARC sont la seule fois où fondamentalement la façon dont nous interagissons avec le monde numérique a jamais changé », dit Abrash, faisant référence à l’invention de la souris et de la conception d’ordinateur de bureau Alto dans les années 1970, quelque chose qui a aidé à définir le cours de informatique personnelle moderne. « Les lunettes AR vont exiger que cela se produise. Vous n’allez pas vous promener avec un clavier et une souris. Vous n’allez pas sortir votre téléphone pour interagir avec. Pour certaines tâches, vous voudrez peut-être un simple bracelet. Pour d’autres, vous voudriez des sensations tactiles plus complètes.

Cependant, il existe encore de nombreux obstacles à la production de gants haptiques prêts à l’emploi.

D’une part, l’équipe souhaite augmenter considérablement la densité des actionneurs des gants, passant de dizaines à des centaines voire des milliers en quelques années. À l’heure actuelle, les gants peuvent offrir une idée des contours des objets, mais pas de distinctions fines entre les surfaces – ils reposent plutôt sur le pouvoir suggestif de l’audio et des images. « Vous pourriez caresser un chien, mais vous ne sentiriez pas la texture », explique Katherine Healy, ingénieure de Reality Labs. « Vous avez besoin d’un actionnement à haute densité pour pouvoir vraiment ressentir cette sensation, et ce gant ne fait pas cela. » Meta n’accorde peut-être pas la priorité à quelque chose d’aussi spécifique que la fourrure, mais il souhaite produire plus largement une sensation de haute qualité.

D’un autre côté – ou plus littéralement, la même main – les gants ont besoin d’une réduction de taille spectaculaire. Le prototype de Meta est plus svelte que quelque chose comme un Nintendo Power Glove des années 90, mais cela ne veut pas dire grand-chose. Healy dit que l’appareil doit être suffisamment léger pour que les gens aient l’impression qu’ils peuvent normalement interagir avec le monde réel ainsi qu’avec le monde virtuel, et il doit fonctionner entièrement sans fil, plutôt que de s’appuyer sur une attache comme c’est le cas actuellement.

Katherine Healy, ingénieure de Meta Reality Labs, avec un gant haptique

Pour rendre les choses encore plus compliquées, les gants haptiques doivent s’adapter précisément à la peau du porteur. Cela pourrait nécessiter la conception de versions différentes pour chaque acheteur, éventuellement par le biais d’un processus tel que le tricot 3D, qui peut produire un vêtement à partir d’un design numérique personnalisé. Ensuite, il y a des questions pratiques comme comment nettoyer un gant de haute technologie – pour le moment, il est soigneusement essuyé avec de l’alcool. « Avec les vêtements en général, nous nous attendons à ce qu’ils soient lavables », explique Healy. « Nous adorerions pouvoir créer un gant lavable. Comment? Nous ne savons pas encore. Mais cela fait partie de notre vision.

Si les gants sont commercialisés, ils seront confrontés aux mêmes problèmes de confidentialité et de sécurité que les autres dispositifs portables qui collectent des informations biométriques. Abrash compare l’utilisation de technologies telles que les bracelets EMG à la frappe sur un clavier, ce qui est rarement décrit comme une menace potentielle. Mais la technologie portable peut analyser les mouvements physiques des personnes à un niveau précis, tandis que même les modèles de frappe de base peuvent prédire l’apparition de maladies comme la maladie de Parkinson. Meta devra établir des politiques régissant la quantité de ces données qui quittent les appareils des utilisateurs et qui d’autre y a accès.

Pour l’instant, l’équipe essaie juste de déterminer à quel point le réel est réel assez pour VR tactile. « L’une des choses intéressantes à propos des gants haptiques, c’est qu’évidemment nous ne pouvons pas reproduire exactement la réalité, ce qui est différent des trucs audiovisuels », explique Abrash. Un écran super dense pourrait être presque distinct d’une image réelle, et une onde sonore pourrait capturer la sensation d’entendre quelqu’un parler. Mais Meta ne peut pas de manière réaliste créer un gant qui empêchera votre main de passer par une table virtuelle. Au lieu de cela, il doit trouver le point où vous suspendez l’incrédulité et acceptez que la table soit là, même si objectivement, cela ressemble plus à de la jello qu’à du bois dur. « Il y a une nouvelle physique où rien n’est solide à grande échelle. »

Et pour le chien ? « Il me semble probable que si les gants haptiques fonctionnent, vous pourrez caresser un chien, mais ce sera un chien virtuel et ce sera une expérience légèrement différente », explique Abrash. « Mais fondamentalement – émotionnellement, expérimentalement – cela semblera aussi réel. »

Laisser un commentaire