La nouvelle technologie de sécurité des enfants d’Apple pourrait nuire à plus d’enfants qu’elle n’en aide

Récemment, Apple a publié trois nouvelles fonctionnalités conçues pour assurer la sécurité des enfants. L’un d’eux, intitulé « Sécurité de la communication dans les messages », analysera les iMessages des personnes de moins de 13 ans pour identifier et brouiller les images sexuellement explicites, et alertera les parents si leur enfant ouvre ou envoie un message contenant une telle image. Au début, cela peut sembler être un bon moyen d’atténuer le risque que les jeunes soient exploités par des prédateurs adultes. Mais cela peut faire plus de mal que de bien.

Bien que nous souhaitions que tous les parents veuillent assurer la sécurité de leurs enfants, ce n’est pas la réalité pour de nombreux enfants. Les jeunes LGBTQ+, en particulier, sont exposés à un risque élevé de violence parentale et d’abus, sont deux fois plus susceptibles que les autres d’être sans abri et représentent 30 % du système de placement en famille d’accueil. De plus, ils sont plus susceptibles d’envoyer des images explicites comme celles qu’Apple cherche à détecter et à signaler, en partie à cause du manque de disponibilité de l’éducation sexuelle. Signaler le comportement des enfants par SMS à leurs parents peut révéler leurs préférences sexuelles, ce qui peut entraîner de la violence ou même l’itinérance.

Ces dommages sont amplifiés par le fait qu’il est peu probable que la technologie sous-jacente à cette fonctionnalité soit particulièrement précise pour détecter les images explicites nuisibles. Apple, dit-il, utilisera « l’apprentissage automatique sur l’appareil pour analyser les pièces jointes d’images et déterminer si une photo est sexuellement explicite ». Toutes les photos envoyées ou reçues par un compte Apple détenu par une personne de moins de 18 ans seront numérisées et des notifications parentales seront envoyées si ce compte est lié à un compte parent désigné.

On ne sait pas dans quelle mesure cet algorithme fonctionnera ni ce qu’il détectera précisément. Certains algorithmes de détection de contenu sexuellement explicite signalent le contenu en fonction du pourcentage de peau visible. Par exemple, l’algorithme peut signaler une photo d’une mère et sa fille à la plage en maillot de bain. Si deux jeunes s’envoient une photo d’une célébrité légèrement vêtue, leurs parents pourraient en être informés.

La vision par ordinateur est un problème notoirement difficile, et les algorithmes existants, par exemple ceux utilisés pour la détection des visages, présentent des biais connus, notamment le fait qu’ils ne parviennent souvent pas à détecter les visages non blancs. Le risque d’inexactitudes dans le système d’Apple est particulièrement élevé car la plupart des algorithmes de détection de nudité publiés dans les universités sont formés sur des images d’adultes. Apple n’a fourni aucune transparence sur l’algorithme qu’ils utilisent, nous n’avons donc aucune idée de son efficacité, en particulier pour détecter les images que les jeunes prennent d’eux-mêmes, probablement les plus préoccupantes.

Ces problèmes de justesse algorithmique sont préoccupants car ils risquent de désaligner les attentes des jeunes. Lorsque nous sommes trop zélés pour déclarer un comportement « mauvais » ou « dangereux » – même le partage de photos de maillots de bain entre adolescents – nous brouillons la capacité des jeunes à détecter quand quelque chose de réellement dangereux leur arrive.

En fait, même en ayant cette fonctionnalité, nous enseignons aux jeunes qu’ils n’ont pas droit à la vie privée. Supprimer la vie privée des jeunes et leur droit de donner leur consentement est exactement le contraire de ce que suggèrent les directives fondées sur des preuves de l’UNICEF pour prévenir l’exploitation et les abus sexuels en ligne et hors ligne. De plus, cette fonctionnalité risque non seulement de causer des dommages, mais elle ouvre également la porte à des intrusions plus larges dans nos conversations privées, y compris des intrusions du gouvernement.

Nous devons faire mieux en matière de conception de technologies pour assurer la sécurité des jeunes en ligne. Cela commence par impliquer les victimes potentielles elles-mêmes dans la conception des systèmes de sécurité. Comme le suggère un mouvement croissant autour de la justice en matière de conception, impliquer les personnes les plus touchées par une technologie est un moyen efficace de prévenir les dommages et de concevoir des solutions plus efficaces. Jusqu’à présent, les jeunes n’ont pas participé aux conversations que les entreprises technologiques ou les chercheurs ont. Ils doivent l’être.

Nous devons également nous rappeler que la technologie ne peut pas à elle seule résoudre les problèmes de société. Il est important de concentrer les ressources et les efforts sur la prévention des situations préjudiciables en premier lieu. Par exemple, en suivant les directives de l’UNICEF et les recommandations fondées sur la recherche pour étendre des programmes complets d’éducation sexuelle fondés sur le consentement qui peuvent aider les jeunes à découvrir et à développer leur sexualité en toute sécurité.

Ceci est un article d’opinion et d’analyse; les opinions exprimées par le auteur ou auteurs ne sont pas nécessairement ceux de Scientifique américain.