Kakao Brain développe une nouvelle technologie d’échange de visage avec une architecture simplifiée

[Courtesy of Kakao Brain]

SEOUL – Kakao Brain, l’unité de recherche sur l’intelligence artificielle de la société de services Web sud-coréenne Kakao, a développé une nouvelle technologie qui étendrait les capacités d’échange de visage fluide et rapide grâce à une intégration d’identité améliorée et à une architecture simplifiée. La société prévoit que sa nouvelle technologie devrait développer divers types d’humains numériques.

L’échange de visage fait référence à la tâche d’échanger des visages entre des images ou dans une vidéo, tout en conservant le reste du contexte du corps et de l’environnement. Il est couramment utilisé pour changer les visages pris sur les services de réseaux sociaux par d’autres visages. Kakao Brain a déclaré que sa nouvelle technologie appelée « Smooth-Swap » réduirait considérablement la complexité de l’architecture de l’échange de visages et aurait un grand potentiel de commercialisation.

Le modèle innovant a remplacé les modules externes complexes des systèmes existants par un intégrateur d’identité fluide intégré pour faciliter un échange de visage plus rapide et plus stable, a déclaré la société, ajoutant que l’architecture simple et les performances améliorées de Smooth-Swap permettent l’échange de visage pendant la lecture vidéo.

« Je crois fermement que cette technologie accélérera l’innovation dans le domaine de l’échange de visages, nous rapprochant un peu plus du métaverse incroyablement immersif dont nous avons toujours rêvé, ainsi que des services humains numériques du futur », a déclaré le PDG de Kakao Brain, Kim Il-doo. dans un communiqué le 9 mai.

Un gradient d’identité précis et cohérent est essentiel pour modifier de manière transparente l’identité d’une personne sans sacrifier la haute qualité de l’image. Entraîné via une perte contrastive supervisée, Smooth-Swap acquiert son gradient d’identité stable en apprenant à intégrer avec une plus grande douceur, remédiant à la faiblesse du modèle précédent consistant à ajouter des composants fabriqués à la main et à modéliser le visage en 3D, ce qui a finalement compliqué sa conception et entraîné un réglage sophistiqué des hyperparamètres.

Smooth-Swap s’appuie sur une architecture simple basée sur U-Net avec un intégrateur d’identité fluide intégré, suggère une approche d’intégration d’identité différenciée et permet au générateur de créer des images de meilleure qualité, en particulier lors de la modification de la forme du visage d’un sujet, selon Kakao Brain .

Kakao Brain essaie de développer un cerveau artificiel et un humain numérique qui combine des personnages artificiels avec des figures humaines virtuelles et voyage dans des espaces métavers. Le monde métaverse est un espace collectif virtuel partagé, créé par la convergence d’une réalité physique virtuellement améliorée et d’un espace virtuel physiquement persistant.