Importance des orientations de la FTC sur l’intelligence artificielle dans les soins de santé

24 novembre 2021 – La Federal Trade Commission a publié des directives limitées dans le domaine de l’intelligence artificielle et de l’apprentissage automatique (IA), mais à travers ses mesures d’application et ses communiqués de presse, elle a clairement indiqué que l’IA peut poser des problèmes qui vont à l’encontre de la FTC Loi interdisant les pratiques commerciales déloyales et trompeuses. Ces dernières années, il a mené des actions coercitives impliquant une prise de décision automatisée et des résultats générés par des algorithmes et des formules informatiques, qui sont des utilisations courantes de l’IA dans le secteur financier, mais peuvent également être pertinentes dans d’autres contextes tels que les soins de santé.

Dans FTC v. CompuCredit Corp., FTC Case No. 108-CV-1976 (2008), la FTC a allégué que le distributeur de crédits à risque CompuCredit avait violé la loi FTC en omettant de divulguer de manière trompeuse qu’il avait utilisé un modèle de notation comportementale pour réduire le crédit des consommateurs. limites. Si les titulaires de carte utilisaient leurs cartes de crédit pour des avances de fonds ou pour effectuer des paiements dans certains lieux, tels que des bars, des discothèques et des salons de massage, leur limite de crédit pourrait être réduite.

La société, a allégué la FTC, n’a pas informé les consommateurs que ces achats pouvaient réduire leur limite de crédit, ni au moment où ils se sont inscrits ni au moment où ils ont réduit la limite de crédit. En n’informant pas les consommateurs de ces décisions automatisées, la FTC a allégué que les actions de CompuCredit étaient trompeuses en vertu de la loi FTC.

Dans son communiqué de presse du 8 avril 2020 intitulé « Utilisation de l’intelligence artificielle et des algorithmes », la FTC recommande que l’utilisation des outils d’IA soit transparente, explicable, juste et empiriquement solide, tout en favorisant la responsabilité.

La FTC a noté, par exemple, qu’une recherche « récemment publiée dans Science a révélé qu’un algorithme utilisé avec de bonnes intentions – pour cibler les interventions médicales sur les patients à haut risque les plus malades – a fini par canaliser des ressources vers une population blanche en meilleure santé, au détriment de patients noirs plus malades. » Voir Obermeyer Z., Powers B,. Vogeli C. et Mullainathan S, « Disséquer les préjugés raciaux dans un algorithme utilisé pour gérer la santé des populations », Science, 366 (6464) : 447-53 (2019) ; voir aussi, résumé sur : « Bias at warp speed: how AI may contribuer to the disparities gap in the time of COVID-19 », PubMed ; Eliane Röösli, Brian Rice et Tina Hernandez-Boussard, Journal de l’American Medical Informatics Association (AMIA), volume 28, numéro 1, pages 190–192 (janvier 2021).

Selon Röösli, Rice et Hernandez-Boussard, l’algorithme avait utilisé « les dépenses de santé comme une approximation apparemment impartiale pour saisir la charge de morbidité, [but] n’a pas pris en compte ou ignoré comment les inégalités systémiques créées par un accès plus limité aux soins pour les patients noirs ont entraîné une diminution des dépenses de santé pour les patients noirs par rapport aux patients blancs tout aussi malades. »

Le communiqué de presse de la FTC du 19 avril 2021 intitulé « Viser la vérité, l’équité et l’équité dans l’utilisation de l’IA par votre entreprise », a réitéré cette préoccupation, notant que la recherche a mis en évidence comment la technologie de l’IA apparemment « neutre » peut « produire des résultats troublants – y compris la discrimination fondée sur la race ou d’autres classes protégées par la loi. »

La FTC a souligné une étude de l’American Medical Informatics Association (voir la ressource AMIA citée ci-dessus). L’étude a suggéré que l’utilisation de l’IA pour évaluer les effets de la pandémie de Covid-19, qui est en fin de compte destinée à bénéficier à tous les patients, utilise des modèles avec des données qui reflètent les préjugés raciaux existants dans la prestation des soins de santé et peuvent aggraver les disparités en matière de soins de santé pour les personnes de Couleur. La FTC conseille aux entreprises utilisant l’analyse des mégadonnées et l’apprentissage automatique de réduire les risques de tels biais.

La FTC a exigé la suppression à la fois des données sur lesquelles un algorithme (utilisé pour l’IA) est développé, ainsi que de l’algorithme lui-même, lorsque les données utilisées n’ont pas été correctement acquises ou utilisées (par exemple, sur notification appropriée et/ou consentement des personnes concernées).

Dans l’action de la FTC intitulée In the Matter of Everalbum, Inc., Docket No. 1923172 (2021), la FTC a affirmé qu’Everalbum, le développeur d’une application de stockage de photos aujourd’hui disparue, permettait aux utilisateurs de télécharger des photos sur sa plate-forme où les utilisateurs On leur a dit qu’ils pouvaient choisir d’utiliser la fonction de reconnaissance faciale d’Everalbum pour organiser et trier les photos, mais la fonction était déjà activée par défaut.

Everalbum, a affirmé la FTC, a combiné des millions d’images faciales extraites des photos des utilisateurs avec des ensembles de données accessibles au public pour créer des ensembles de données propriétaires qu’il a utilisés pour développer sa technologie de reconnaissance faciale et a utilisé cette technologie non seulement pour la fonction de reconnaissance faciale de l’application, mais aussi pour développer Paravision, son service de reconnaissance faciale pour les entreprises clientes qui, bien que non mentionné dans la plainte de la FTC, aurait inclus des agences militaires et des forces de l’ordre. La FTC a également affirmé qu’Everalbum avait induit les utilisateurs en erreur en leur faisant croire qu’il supprimerait les photos des utilisateurs qui ont désactivé leurs comptes, alors qu’en fait Everalbum n’a pas supprimé leurs photos.

Dans un règlement du 11 janvier 2021, la FTC a demandé à Everalbum de supprimer (i) les photos des utilisateurs qui ont désactivé leurs comptes ; (ii) toutes les incrustations de visage (données reflétant les traits du visage qui peuvent être utilisées à des fins de reconnaissance faciale) dérivées des photos d’utilisateurs qui n’ont pas donné leur consentement exprès pour cette utilisation ; et (iii) tout modèle ou algorithme de reconnaissance faciale développé avec les photos des utilisateurs.

Le dernier point peut avoir des implications pour les développeurs d’IA, dans la mesure où la FTC exige la suppression d’un algorithme, lui-même, développé à l’aide de données non acquises ou utilisées de manière appropriée pour de tels moyens.

La FTC recommande que l’utilisation des outils d’IA soit transparente, explicable, juste et empiriquement solide, tout en favorisant la responsabilisation. Plus précisément, la FTC recommande aux entreprises d’être transparentes :

•sur l’utilisation des outils automatisés ;

•lorsque des données sensibles sont collectées ;

•si les consommateurs se voient refuser quelque chose de valeur sur la base d’une prise de décision algorithmique ;

•si des algorithmes sont utilisés pour attribuer des scores de risque aux consommateurs ;

•si les termes d’un accord peuvent être modifiés sur la base d’outils automatisés.

Les consommateurs devraient également avoir accès et avoir la possibilité de corriger les informations utilisées pour prendre des décisions les concernant.

La FTC avertit que les consommateurs ne devraient pas être discriminés, sur la base de classes protégées. À cette fin, l’accent devrait être mis non seulement sur les intrants, mais également sur les résultats afin de déterminer si un modèle semble avoir un impact négatif disparate sur les personnes d’une classe protégée. Les entreprises utilisant l’IA et des outils algorithmiques devraient se demander si elles devraient s’engager dans un auto-test des résultats de l’IA, pour aider à évaluer les risques de protection des consommateurs inhérents à l’utilisation de tels modèles. Les modèles d’IA doivent être validés et revalidés pour s’assurer qu’ils fonctionnent comme prévu et qu’ils ne font pas de discrimination illégale.

Les données d’entrée (par exemple, les données utilisées pour développer et affiner l’algorithme/l’IA) doivent être correctement acquises, et si les données personnelles, doivent être collectées et utilisées de manière transparente (par exemple, sur notification appropriée et/ou consentement de la part du personnes).

La FTC recommande que pour éviter les biais ou autres dommages aux consommateurs, l’opérateur d’un algorithme pose quatre questions clés :

•Dans quelle mesure votre ensemble de données est-il représentatif ?

•Votre modèle de données tient-il compte des biais ?

• Quelle est la précision de vos prédictions basées sur les mégadonnées ?

• Votre dépendance à l’égard des mégadonnées soulève-t-elle des problèmes d’éthique ou d’équité ?

Enfin, la FTC encourage les entreprises à réfléchir à la manière de se tenir responsable et à savoir s’il serait judicieux d’utiliser des normes indépendantes ou une expertise indépendante pour prendre du recul et faire le point sur leur IA. Pour l’algorithme discuté ci-dessus qui a fini par discriminer les patients noirs, alors que ce sont des employés bien intentionnés qui essayaient d’utiliser l’algorithme pour cibler les interventions médicales sur les patients les plus malades, ce sont des observateurs objectifs extérieurs qui ont testé indépendamment l’algorithme et découvert le problème . Ces outils et services externes sont de plus en plus disponibles à mesure que l’IA est utilisée plus fréquemment, et les entreprises peuvent envisager de les utiliser.