Un chien de garde britannique met en garde contre l’IA pour l’analyse émotionnelle, qualifie la biométrie «immature» de risque de biais

Le chien de garde de la vie privée du Royaume-Uni a mis en garde contre l’utilisation de technologies dites «d’analyse des émotions» pour quelque chose de plus sérieux que les jeux de société pour enfants, affirmant qu’il existe un risque de discrimination lié à l’application d’une technologie biométrique «immature» qui fait des affirmations pseudoscientifiques sur la capacité de reconnaître les gens. émotions en utilisant l’IA pour interpréter les entrées de données biométriques.

De tels systèmes d’IA « fonctionnent », si l’on peut dire, en prétendant être capables de « lire les feuilles de thé » d’un ou plusieurs signaux biométriques, tels que la fréquence cardiaque, les mouvements oculaires, l’expression faciale, l’humidité de la peau, le suivi de la marche, tonalité vocale, etc., et effectuez une détection des émotions ou une analyse des sentiments pour prédire comment la personne se sent – probablement après avoir été formée sur un tas de données visuelles de visages fronçant les sourcils, de visages souriants, etc. expressions à des états émotionnels absolus – parce qu’il n’y a pas deux personnes, et souvent pas deux états émotionnels, qui sont identiques ; d’où la pseudoscience !).

Le sous-commissaire du chien de garde, Stephen Bonner, semble convenir que ce non-sens de la haute technologie doit être arrêté – affirmant aujourd’hui qu’il n’y a aucune preuve que ces technologies fonctionnent réellement comme on le prétend (ou qu’elles fonctionneront un jour).

« Les développements sur le marché de la biométrie et de l’IA émotionnelle sont immatures. Ils ne fonctionneront peut-être pas encore, voire jamais », a-t-il averti dans un communiqué. « Bien qu’il existe des opportunités, les risques sont actuellement plus grands. À l’ICO, nous craignons qu’une analyse incorrecte des données puisse entraîner des hypothèses et des jugements sur une personne qui sont inexacts et conduisent à la discrimination.

« Les seuls déploiements biométriques durables seront ceux qui sont entièrement fonctionnels, responsables et soutenus par la science. Dans l’état actuel des choses, nous n’avons pas encore vu de technologie d’intelligence artificielle émotionnelle se développer de manière à satisfaire aux exigences de protection des données, et nous avons des questions plus générales sur la proportionnalité, l’équité et la transparence dans ce domaine.

Dans un article de blog accompagnant le tir de Bonner à travers les arcs de la biométrie douteuse, le Bureau de la Commission de l’information (ICO) a déclaré que les organisations devraient évaluer les risques publics avant de déployer une telle technologie – avec un avertissement supplémentaire que ceux qui n’agissent pas de manière responsable pourraient faire l’objet d’une enquête. (Donc pourrait aussi risquer une pénalité.)

« L’ICO continuera à scruter le marché, en identifiant les parties prenantes qui cherchent à créer ou à déployer ces technologies, et en expliquant l’importance d’une confidentialité et d’une conformité des données améliorées, tout en encourageant la confiance dans le fonctionnement de ces systèmes », a ajouté Bonner.

Le chien de garde a des conseils biométriques plus complets à venir au printemps – qui, selon lui, souligneront aujourd’hui la nécessité pour les organisations de faire attention à la sécurité des données – donc l’avertissement de Bonner offre un avant-goût d’une direction plus complète à venir dans les six prochains mois .

« Les organisations qui n’agissent pas de manière responsable, présentent des risques pour les personnes vulnérables ou ne répondent pas aux attentes de l’ICO feront l’objet d’une enquête », a ajouté le chien de garde.

Son article de blog donne quelques exemples d’utilisations potentiellement préoccupantes de la biométrie – y compris la technologie de l’IA utilisée pour surveiller la santé physique des travailleurs via l’utilisation d’outils de dépistage portables ; ou l’utilisation de méthodes visuelles et comportementales telles que la position du corps, la parole, les mouvements des yeux et de la tête pour inscrire les étudiants aux examens.

« L’analyse des émotions repose sur la collecte, le stockage et le traitement d’une gamme de données personnelles, y compris des réponses comportementales ou émotionnelles subconscientes et, dans certains cas, des données de catégorie spéciale. Ce type d’utilisation des données est beaucoup plus risqué que les technologies biométriques traditionnelles utilisées pour vérifier ou identifier une personne », a-t-il poursuivi. « L’incapacité des algorithmes qui ne sont pas suffisamment développés à détecter les signaux émotionnels signifie qu’il existe un risque de biais systémique, d’inexactitude et même de discrimination. »

Ce n’est pas la première fois que l’ICO s’inquiète de l’utilisation croissante de la technologie biométrique. L’année dernière, la commissaire à l’information de l’époque, Elizabeth Denham, a publié une opinion exprimant des inquiétudes quant à ce qu’elle a qualifié d’impacts potentiellement «significatifs» d’une utilisation inappropriée, imprudente ou excessive de la technologie de reconnaissance faciale en direct (LFR) – avertissant que cela pourrait conduire à un «grand surveillance du public à la manière d’un frère.

Cependant, cet avertissement visait une technologie plus spécifique (LFR). Et Bonner de l’ICO a déclaré au Guardian que c’est la première fois que le régulateur émet un avertissement général sur l’inefficacité d’une toute nouvelle technologie – arguant que cela est justifié par le préjudice qui pourrait être causé si les entreprises prenaient des décisions significatives basées sur des données dénuées de sens, par le reportage du journal.

Où est la réglementation biométrique ?

L’ICO peut se sentir poussé à faire des interventions plus substantielles dans ce domaine parce que les législateurs britanniques ne sont pas proactifs en matière de réglementation de la biométrie.

Un examen indépendant de la législation britannique dans ce domaine, publié cet été, a conclu que le pays avait un besoin urgent de nouvelles lois pour régir l’utilisation des technologies biométriques – et a appelé le gouvernement à présenter une législation primaire.

Cependant, le gouvernement ne semble pas avoir accordé beaucoup d’attention à une telle demande ou à ces divers avertissements réglementaires – avec une réforme prévue de la protection des données, qu’il a présentée plus tôt cette année, évitant toute action visant à renforcer la transparence algorithmique dans le secteur public, par exemple, tandis que – sur la biométrie en particulier – il n’offrait que des mesures souples visant à clarifier les règles sur l’utilisation (spécifiquement) par la police des données biométriques (en prenant en compte l’élaboration de normes de bonnes pratiques et de codes de conduite). On est donc bien loin du cadre global réclamé par l’examen indépendant du droit commandé par l’institut de recherche Ada Lovelace.

Dans tous les cas, le projet de loi sur la réforme des données reste en pause après un été de troubles politiques intérieurs qui a conduit à deux changements de Premier ministre en succession rapide. Une refonte législative a également été annoncée plus tôt ce mois-ci par la secrétaire d’État (toujours en poste) aux questions numériques, Michelle Donelan – qui a utilisé un récent discours de conférence du Parti conservateur pour viser le règlement général sur la protection des données (RGPD) de l’UE, alias le cadre qui a été transposé dans la législation britannique en 2018. Elle a déclaré que le gouvernement « remplacerait » le RGPD par un système britannique de protection des données sur mesure – mais a donné peu de détails sur ce qui sera exactement mis en place dans ce cadre fondamental.

Le GDPR réglemente le traitement des données biométriques lorsqu’elles sont utilisées pour identifier des individus – et inclut également un droit à un examen humain de certaines décisions algorithmiques substantielles. Donc, si le gouvernement a l’intention de déchirer le règlement actuel, cela soulève la question de savoir comment – ​​ou même si – les technologies biométriques seront réglementées au Royaume-Uni à l’avenir ?

Et cela rend d’autant plus importantes les déclarations publiques de l’ICO sur les risques des systèmes d’IA biométriques pseudoscientifiques. (Il convient également de noter que le régulateur vérifie le nom de l’implication de l’Ada Lovelace Institute (qui a commandé l’examen juridique susmentionné) et du British Youth Council qui, selon lui, seront impliqués dans un processus de dialogues publics qu’il prévoit d’utiliser pour aider à façonner son orientations biométriques « centrées sur les personnes » à venir.)

« Soutenir les entreprises et les organisations au stade du développement de produits et services biométriques intègre une approche de » confidentialité dès la conception « , réduisant ainsi les facteurs de risque et garantissant que les organisations fonctionnent en toute sécurité et en toute légalité », a ajouté l’ICO, dans ce qui pourrait être interprété comme plutôt pointu. remarques sur les priorités politiques du gouvernement.

La préoccupation du régulateur concernant la technologie d’analyse émotionnelle n’est pas non plus un risque académique.

Par exemple, une société basée à Manchester, au Royaume-Uni, appelée Silent Talker, était l’une des entités impliquées dans un consortium développant une technologie très controversée de «détecteur de mensonges AI» – appelée iBorderCtrl – qui était présentée comme un moyen d’accélérer les contrôles d’immigration tous les jours. en 2017. Ironiquement, le projet iBorderCtrl a obtenu des financements de R&D de l’UE, alors même que les critiques accusaient le projet de recherche d’automatiser la discrimination.

On ne sait pas quel est le statut actuel de la technologie sous-jacente du « détecteur de mensonges AI ». La société de Manchester impliquée dans le projet de «preuve de concept» – qui était également liée à la recherche à la Manchester Metropolitan University – a été dissoute cet été, selon les registres de la Companies House. Mais le projet iBorderCtrl a également été critiqué pour des raisons de transparence et a fait face à un certain nombre d’actions d’accès à l’information visant à lever le voile sur le projet et le consortium derrière celui-ci – avec, apparemment, un succès limité.

Dans un autre exemple, la startup britannique de la santé, Babylon AI, a fait la démonstration d’une IA « à balayage des émotions » intégrée à une plate-forme de télésanté dans une présentation de 2018 – disant que la technologie a scanné les expressions faciales en temps réel pour générer une évaluation de la façon dont la personne se sentait et présenter cela au clinicien pour éventuellement agir.

Son PDG, Ali Parser, a déclaré à l’époque que la technologie de numérisation des émotions avait été construite et impliquait qu’elle arriverait sur le marché. avait été dépriorisé au profit d’autres fonctionnalités alimentées par l’IA.

L’ICO sera sûrement heureux que Babylon ait repensé l’utilisation de l’IA pour affirmer que son logiciel pouvait effectuer une analyse des émotions à distance.

Son article de blog poursuit en citant d’autres exemples actuels où la technologie biométrique, plus largement, est utilisée – y compris dans les aéroports pour rationaliser les trajets des passagers ; les sociétés financières utilisant la technologie de reconnaissance faciale en direct pour les vérifications d’identité à distance ; et les entreprises utilisant la reconnaissance vocale pour un accès pratique au compte, au lieu d’avoir à mémoriser les mots de passe.

Le régulateur ne fait pas de remarques spécifiques sur les cas d’utilisation cités, mais il semble probable qu’il gardera un œil attentif sur toutes les applications de la biométrie étant donné les risques potentiels élevés pour la vie privée et les droits des personnes – même si son attention la plus particulière sera dirigée vers les utilisations de la technologie qui glissent leurs chaînes et s’égarent dans les domaines de la science-fiction.

Le billet de blog de l’ICO note que son regard sur « l’avenir de la biométrie » est un élément clé de sa « fonction d’analyse de l’horizon ». Ce qui est technocrate parle de « l’examen de ce type de technologie d’IA étant priorisé parce qu’il arrive rapidement dans le tuyau pour nous tous ».

« Ce travail identifie les technologies critiques et l’innovation qui auront un impact sur la vie privée dans un avenir proche – son objectif est de s’assurer que l’ICO est prêt à affronter les défis de la vie privée que la technologie transformatrice peut apporter et à garantir que l’innovation responsable est encouragée », a-t-il ajouté.