Les algorithmes médicaux échouent dans les communautés de couleur
Quand il s’agit de notre santé, c’est personnel. C’est pourquoi il est si important que les médecins en qui nous avons confiance prennent des décisions concernant nos soins, et non des machines. Et pourtant, dans de nombreuses situations, l’intelligence artificielle (IA) et l’apprentissage automatique prennent des décisions concernant nos traitements et soins médicaux, souvent au détriment des communautés de couleur. Pour lutter contre la discrimination dans les soins de santé et la couverture d’assurance, nous devons évaluer et agir sur la façon dont la prise de décision algorithmique contribue aux inégalités au sein de notre système de santé.
Les algorithmes médicaux sont censés prendre des décisions rapides et précises qui aident les prestataires à diagnostiquer et à traiter les patients plus rapidement et plus efficacement. Leur utilisation a commencé principalement dans les années 1970, et à partir de ce moment, les algorithmes et l’IA sont devenus des constantes dans la vie des patients. Des programmes de consultation pour le glaucome aux processus d’admission automatisés en soins primaires aux systèmes de notation qui évaluent l’état de santé des nouveau-nés, les patients sont régulièrement confrontés à ces technologies et algorithmes, qu’ils le sachent ou non. Les compagnies d’assurance utilisent également des algorithmes pour déterminer le risque et ajuster le coût des soins.
Malgré leur ubiquité, le défaut fatal des algorithmes médicaux est qu’ils sont souvent construits sur des règles biaisées et des ensembles de données homogènes qui ne reflètent pas la population de patients dans son ensemble. Les patients ne devraient jamais avoir à craindre qu’un algorithme puisse les empêcher de recevoir une greffe d’organe, pourtant c’est la réalité pour de nombreux patients noirs sur les listes de greffe. Même si les Noirs américains sont quatre fois plus susceptibles d’avoir une insuffisance rénale, un algorithme pour déterminer le placement sur la liste des greffes place les patients noirs plus bas sur la liste que les patients blancs, même lorsque tous les autres facteurs restent identiques.
Les algorithmes médicaux ont également un impact en dehors de la sphère des soins de santé. Par exemple, la NFL a activement utilisé des algorithmes biaisés qui utilisent des tactiques de « normalisation de la race » pour déterminer quels joueurs sont éligibles pour des paiements dans le cadre d’un règlement d’un milliard de dollars des réclamations pour lésions cérébrales. Ces algorithmes sont basés sur une hypothèse discriminatoire selon laquelle les joueurs noirs commencent avec une fonction cognitive inférieure, ce qui les disqualifie ensuite, blessés par des années de commotions cérébrales, de recevoir des paiements. Des ajustements basés sur la race comme ceux-ci ont été développés au début des années 1990 pour estimer l’impact des facteurs socio-économiques sur la santé d’une personne, mais les experts en neurologie ont découvert que le programme d’évaluation de la NFL est défectueux, discriminant systématiquement les joueurs noirs.
Effets dévastateurs sur les personnes de couleur
Les biais algorithmiques peuvent avoir des effets dévastateurs sur les personnes de couleur à tous les stades du processus de soins de santé, du tri de leurs maladies à la qualité des soins qu’elles reçoivent.
En fait, une étude de 2019 a révélé que les algorithmes de prédiction des risques conduisaient les patients noirs à recevoir des soins de moins bonne qualité que leurs homologues non noirs. L’algorithme a utilisé les dépenses de santé antérieures du patient pour déterminer les risques futurs et donc le besoin de soins supplémentaires. Étant donné que les Noirs américains ont l’un des taux de pauvreté les plus élevés des États-Unis et ont un accès réduit aux services, ils ont tendance à dépenser moins pour les soins de santé. Cela a amené l’algorithme à empêcher les patients noirs de recevoir des soins supplémentaires dans le cadre d’un «programme de gestion des soins à haut risque», malgré le fait que les Noirs américains possèdent le taux de mortalité par cancer le plus élevé, ont cinq fois plus de chances de mourir de causes liées à la grossesse, et sont 60 pour cent plus susceptibles de recevoir un diagnostic de diabète par rapport aux Américains blancs. Les Noirs américains dépensent moins en soins de santé, non pas parce qu’ils ont moins de besoins, mais à cause de moins de ressources.
Pourtant, les compagnies d’assurance utilisent à mauvais escient des informations personnelles telles que la race et le revenu dans les algorithmes de prévision des risques pour manipuler les coûts des soins de santé et augmenter les primes. Dans le cadre du programme Medicare Advantage, les assureurs ont abusé des algorithmes de « évaluation des risques » et ont surfacturé Medicare de près de 30 milliards de dollars. Le Congrès serait bien servi de suivre les recommandations de la Medicare Payment Advisory Commission et de modifier ces paiements aux assureurs-maladie privés offrant des plans Medicare Advantage et d’utiliser les économies pour améliorer les soins aux patients dans Medicare ou l’Affordable Care Act. Les préjugés raciaux implicites dans les algorithmes de prévision des risques, ainsi que la surfacturation sans entrave des assureurs, démontrent la nécessité d’une réforme de l’assurance de qualité.
De nombreux algorithmes biaisés manquent également de diversité des données, que ce soit en fonction de la race, du sexe ou d’autres facteurs. Ce n’est pas nouveau. Les données médicales ont longtemps manqué de diversité. Depuis les premiers jours des essais cliniques, les femmes et les personnes de couleur ont été sous-représentées dans les études. Le manque de données diversifiées diminue la généralisabilité de ces études et potentiellement des outils développés à partir des données. Interrogé sur ce problème lors de son audition de confirmation, le secrétaire du ministère de la Santé et des Services sociaux, Xavier Becerra, a déclaré: «Si vous avez de mauvaises entrées, vous produisez de mauvaises sorties.»
Heureusement, certains États reconnaissent les dommages potentiels de ces « mauvais résultats ». Le Colorado a récemment adopté un projet de loi pour empêcher les compagnies d’assurance d’utiliser des algorithmes qui discriminent les individus en fonction de la race, de l’origine ethnique, du sexe et d’autres caractéristiques. La California Nurses Association soutient la législation permettant aux professionnels de la santé d’utiliser leur expertise pour remplacer les algorithmes de soins de santé et défendre l’intérêt supérieur du patient.
Concevoir des algorithmes pour la diversité en santé
Alors que la technologie a le potentiel de remédier aux inégalités en augmentant l’innovation et en comblant les lacunes d’accès, les parties prenantes doivent faire un meilleur travail de conception pour l’équité en santé lors de l’application de l’apprentissage automatique et de l’intelligence artificielle aux soins de santé. Nous recommandons trois étapes initiales pour garantir que la société évolue vers la justice en matière de santé dans l’utilisation de l’IA et de l’apprentissage automatique.
Encourager une plus grande collaboration et un centrage sur le patient
Une « approche orientée vers le domaine » – comme suggérée par des chercheurs de l’Université Harvard – peut aider à atténuer certains de ces problèmes en incorporant des « experts du domaine », par exemple des professionnels de la santé, dans le processus de développement d’algorithmes. Cette approche pourrait aider à corriger les inexactitudes décisionnelles des algorithmes, car les professionnels de la santé sur le terrain pourraient fournir un contexte important supplémentaire. Cela devrait aller plus loin en intégrant les voix des patients et des soignants dans le développement de ces systèmes pour s’assurer que les implications réelles de ces décisions sont mieux comprises.
Développer des processus spécifiques pour évaluer et traiter les biais
Les chercheurs et les médecins doivent examiner leurs propres biais implicites et, comme l’a noté l’American Medical Association, il est impératif qu’ils élaborent des recommandations sur la façon d’interpréter ou d’améliorer les algorithmes qui incluent la normalisation raciale. Les établissements de soins de santé et les sociétés professionnelles devraient adopter des programmes pour aider à éclairer ce processus. Par exemple, l’American Academy of Neurology a lancé une formation antiraciste unique pour les neurologues. Ces programmes devraient être développés en tandem avec la mise en œuvre d’applications d’IA et d’apprentissage automatique dans les établissements de santé.
Développer un cadre réglementaire qui favorise la transparence et la responsabilité
Le gouvernement fédéral et les régulateurs, tels que la Food and Drug Administration (FDA) et la Federal Trade Commission, devraient examiner de plus près les dommages potentiels ainsi que les avantages potentiels des nouvelles technologies développées à l’aide de l’apprentissage automatique et de la prise de décision algorithmique. Le logiciel basé sur l’intelligence artificielle/l’apprentissage automatique de la FDA en tant que plan d’action pour les dispositifs médicaux est un bon début, mais il n’exige pas le type de processus transparents d’examen et de divulgation que l’on trouve dans les essais cliniques. Les efforts de réglementation devraient garantir ce qui suit :
- Les données de la meilleure qualité possible sont utilisées pour réduire les risques et les résultats discriminatoires.
- Transparence des détails liés à l’objectif, au développement et aux risques de l’IA et de l’apprentissage automatique dans le domaine de la santé.
- Mesures de surveillance humaine appropriées pour réduire les risques.
Le Congrès doit également garder un œil vigilant pour s’assurer que les algorithmes fonctionnent au profit et non au détriment des consommateurs américains de soins de santé. Il doit exercer son autorité de réglementation pour s’assurer que les agences gouvernementales agissent ensuite avec les meilleures données possibles pour éviter les biais de santé dans l’IA. Ne pas reconnaître et corriger ces défauts pourrait exacerber les inégalités existantes et conduire à une nouvelle ère d’injustice en matière de santé alimentée par l’IA.