Est-ce que Tom Hanks parle japonais? Non, c’est juste de l’IA
Une mauvaise synchronisation labiale dans le doublage et les sous-titres peut décourager le public et nuire aux recettes au box-office des films étrangers.
L’IA est peut-être sur le point de changer tout cela.
La start-up Flawless AI, cofondée par le réalisateur Scott Mann, dispose d’un outil qui, selon elle, peut recréer avec précision la synchronisation labiale dans le doublage sans altérer la performance des acteurs.
L’outil étudie comment les acteurs bougent la bouche et intervertit les mouvements en fonction des mots doublés dans différentes langues, donnant l’impression que Tom Hanks peut parler japonais ou que Jack Nicholson parle couramment le français.
Mann a été inspiré pour trouver l’outil quand il a vu comment le doublage affectait la cohésion narrative de son film de 2015 « Heist », mettant en vedette Robert De Niro.
« Je déteste le doublage tel qu’il est », a-t-il déclaré à Reuters. « Vous devez changer tellement de choses pour essayer de synchroniser. Vous changez de mots auxquels les cinéastes et les interprètes ont pensé si profondément. Ils sont jetés pour trouver un mot différent qui correspond, mais ce n’est jamais vraiment le cas. »
Mann a décidé de faire quelque chose à propos de cette discordance évidente. Après quelques recherches, il a découvert un livre blanc de Christian Theobalt de l’Institut Max Planck pour l’informatique, présentant une nouvelle approche qui utilise l’intelligence artificielle pour recréer des effets visuels humains photo-réels.
L’outil a travaillé pour traduire une scène De Niro en « Heist ».
«Il est capable de prendre essentiellement un son ‘ooh’ de De Niro 20 minutes plus tôt et de le placer à un moment différent du film», a expliqué Mann. « Il mesure en même temps et le mélange pour que la performance soit la même, mais c’est un mouvement de bouche différent. »
Flawless AI travaille maintenant avec les producteurs et les studios pour intégrer la technologie dans la post-production. Les premiers films utilisant cet outil sont dans environ un an.
Mann pense que cette technologie va changer la donne, en aidant à éliminer les catégories de langues étrangères lors des remises de prix et en créant une industrie cinématographique plus inclusive avec une véritable scène mondiale.
« D’un point de vue cinématographique, vous allez assister à la montée en puissance d’une gamme de stars beaucoup plus diversifiée », a-t-il déclaré.
Il pourrait y avoir une dissonance et une focalisation sur la technologie IA au début quand elle sera introduite, mais finalement Mann espère que son utilisation sera transparente.
«Quand c’est une chose courante, nous n’allons plus y penser et nous apprécierons simplement les films», a-t-il déclaré.
Nos normes: les principes de confiance de Thomson Reuters.