Des étudiants diplômés d’UCicago développent un logiciel pour éviter la technologie de reconnaissance faciale
Un programme logiciel open source « Fawkes », développé par un groupe de recherche UChicago, peut modifier les images de manière largement imperceptible à l’œil humain tout en rendant les visages de l’image indétectables par les systèmes de reconnaissance faciale.
Les logiciels de reconnaissance faciale sont souvent entraînés en faisant correspondre des noms à des visages dans des images extraites de sites Web et de médias sociaux. L’objectif est de développer un logiciel capable d’identifier correctement des images de visages de personnes qu’il n’a jamais rencontrées auparavant. Cela permet aux gens d’être facilement identifiables lorsqu’une image de leur visage est capturée dans des espaces publics, comme lors d’une manifestation politique.
En modifiant certaines de vos caractéristiques pour qu’elles ressemblent à celles d’une autre personne, le « masque » de Fumseck empêche le logiciel de reconnaissance faciale d’entraîner son modèle. Un modèle de reconnaissance faciale est entraîné avec succès lorsqu’il associe votre nom à un ensemble distinct de caractéristiques et peut vous reconnaître avec précision dans les futures images. Le masque Fumseck diminue la différence entre votre ensemble de traits du visage et ceux des autres, empêchant ainsi le logiciel de reconnaissance faciale de s’entraîner. Le masque de Fumseck est largement imperceptible à l’œil humain mais trompeur pour les modèles d’apprentissage automatique.
Le projet Fawkes est dirigé par deux docteurs en informatique. étudiants du Security, Algorithms, Networking and Data (SAND) Lab, Emily Wenger et Shawn Shan, qui travaillent avec UChicago Ph.D. étudiant Huiying Li et UC San Diego Ph.D. étudiant Jiayun Zhang. Ils sont conseillés par les codirecteurs du SAND Lab, les professeurs Ben Zhao et Heather Zheng, du Département d’informatique.
Fawkes s’est inspiré du concept d’empoisonnement de modèle, un type d’attaque dans lequel un algorithme d’apprentissage automatique est intentionnellement alimenté de données trompeuses afin de l’empêcher de faire des prédictions précises. Habituellement, les attaques par empoisonnement prennent la forme de virus malveillants utilisés par les pirates informatiques. Shan a demandé : « Et si nous pouvions utiliser des attaques d’empoisonnement pour de bon ? »
L’élaboration d’un algorithme qui modifie les photos de manière à dérouter les systèmes de détection mais à rester méconnu des humains nécessite de trouver un équilibre délicat. « C’est toujours un compromis entre ce que l’ordinateur peut détecter et ce qui dérange l’œil humain. »
Wenger et Shan espèrent qu’à l’avenir, les gens ne seront plus identifiables par les gouvernements ou les acteurs privés sur la base uniquement d’images prises d’eux dans le monde.
Depuis que le laboratoire a publié un article sur son programme en Actes du Symposium USENIX sur la sécurité 2020, leur travail a été largement médiatisé. Wenger dit qu’une partie de la couverture a fait de Fumseck un bouclier plus puissant contre les logiciels de reconnaissance faciale qu’il ne l’est en réalité. « Une grande partie de l’attention des médias exagère les attentes des gens [Fawkes], ce qui amène les gens à nous envoyer des e-mails… « Pourquoi cela ne résout-il pas tous nos problèmes ? » », a déclaré Wenger.
Florian Tramèr, doctorant en cinquième année. étudiant en informatique à l’Université de Stanford, a écrit qu’un logiciel d’empoisonnement des données comme Fawkes donne aux utilisateurs un « faux sentiment de sécurité ».
Tramèr a deux préoccupations principales : Fumseck et les algorithmes similaires ne tiennent pas compte des images non modifiées que les gens ont déjà publiées sur Internet, et le logiciel de reconnaissance faciale développé après Fumseck peut être entraîné à détecter les visages dans les images avec les distorsions appliquées.
Dans leur article, Wenger et Shan abordent le premier problème en suggérant aux utilisateurs de créer un compte de réseau social avec des images masquées sous un nom différent. Ces profils, appelés « comptes Sybil » dans le monde informatique, trompent un algorithme d’entraînement en le conduisant à associer un visage à plus d’un nom.
Mais Tramèr a dit Le marron qu’inonder Internet avec des images masquées sous un nom différent ne va pas aider. « Si Clearview [a facial recognition system] a accès à l’attaque (Fumseck) alors [it] peut facilement entraîner un modèle immunisé contre l’attaque de Fumseck.
Tramèr n’est pas convaincu que Fumseck puisse leur fournir une protection suffisamment solide contre les logiciels de reconnaissance qui seront développés à l’avenir. Il n’y a « aucune garantie de la force de cette perturbation dans un an », a-t-il déclaré. Les tentatives de rendre son visage indétectable dans les images pourraient être contrecarrées en entraînant l’algorithme de l’année prochaine sur un ensemble de photos masquées par une ancienne version de Fumseck.
Cependant, Tramèr pense que le port d’un masque dans un espace public pourrait échapper à la détection, car l’avantage revient toujours à la partie qui joue la défense. « S’il y a une reconnaissance faciale à l’aéroport et que vous savez qu’elle est là, alors chaque année, vous vous présentez à l’aéroport, vous pouvez venir avec un nouveau masque meilleur que l’année précédente. »
Cependant, Tramèr estime que l’utilisation de logiciels de reconnaissance faciale ne peut être limitée que par des changements de politique. Il semblait modérément optimiste et a cité des sociétés comme Microsoft, Amazon et IBM, qui ont déclaré qu’elles ne vendraient pas le logiciel de reconnaissance faciale aux forces de l’ordre. L’une des préoccupations de ces entreprises est le fait que ces modèles ont démontré une reconnaissance moins précise des visages à la peau plus foncée que des visages à la peau plus claire, ce qui pourrait permettre la brutalité policière envers les Noirs. Pourtant, d’autres sociétés, comme la société de caméras de sonnette Ring, continuent de collaborer avec les forces de police.
Wenger et Shan ont déclaré qu’il y aurait toujours un nouveau modèle de reconnaissance faciale qui pourrait l’emporter sur leur dernière tentative de masquage. Pourtant, ils pensent que Fumseck et d’autres logiciels qui rendent la reconnaissance faciale plus difficile sont précieux. « Nous augmentons les coûts pour un attaquant. Si personne ne propose l’idée, même imparfaite, personne n’avance jamais.