L’IA peut-elle mieux répondre aux questions médicales que votre médecin ?

L’année dernière, les titres décrivant une étude sur l’intelligence artificielle (IA) étaient pour le moins accrocheurs :

À première vue, l’idée qu’un chatbot utilisant l’IA puisse générer de bonnes réponses aux questions des patients n’est pas surprenante. Après tout, ChatGPT se vante d'avoir réussi un examen final pour un MBA de Wharton, d'avoir écrit un livre en quelques heures et d'avoir composé de la musique originale.

Mais faire preuve de plus d’empathie que votre médecin ? Aie. Avant d’attribuer les honneurs finaux en matière de qualité et d’empathie de part et d’autre, jetons un deuxième regard.

Quelles tâches l’IA assume-t-elle dans le domaine des soins de santé ?

Déjà, une liste croissante d'applications médicales de l'IA comprend la rédaction de notes médicales, la suggestion de diagnostics, l'aide à la lecture des radiographies et des IRM et la surveillance des données de santé en temps réel telles que la fréquence cardiaque ou le niveau d'oxygène.

Mais l’idée que les réponses générées par l’IA pourraient être plus empathiques que celles des médecins réels m’a semblé étonnante – et triste. Comment même la machine la plus avancée pourrait-elle surpasser un médecin dans la démonstration de cette vertu importante et particulièrement humaine ?

L’IA peut-elle apporter de bonnes réponses aux questions des patients ?

C'est une question intrigante.

Imaginez que vous avez appelé le cabinet de votre médecin pour lui poser une question sur l'un de vos médicaments. Plus tard dans la journée, un clinicien de votre équipe de santé vous rappelle pour en discuter.

Imaginez maintenant un scénario différent : vous posez votre question par e-mail ou par SMS et recevez en quelques minutes une réponse générée par un ordinateur utilisant l'IA. Comment les réponses médicales dans ces deux situations se compareraient-elles en termes de qualité ? Et comment pourraient-ils se comparer en termes d’empathie ?

Pour répondre à ces questions, les chercheurs ont collecté 195 questions et réponses d'utilisateurs anonymes d'un site de médias sociaux en ligne qui ont été posées à des médecins volontaires pour y répondre. Les questions ont ensuite été soumises à ChatGPT et les réponses du chatbot ont été collectées.

Un panel de trois médecins ou infirmières a ensuite évalué les deux ensembles de réponses en fonction de leur qualité et de leur empathie. Il a été demandé aux panélistes : « quelle réponse était la meilleure ? » sur une échelle de cinq points. Les options d'évaluation de la qualité étaient les suivantes : très mauvaise, mauvaise, acceptable, bonne ou très bonne. Les options d'évaluation de l'empathie étaient les suivantes : pas d'empathie, légèrement empathique, moyennement empathique, empathique et très empathique.

Qu’a révélé l’étude ?

Les résultats n'étaient même pas proches. Pour près de 80 % des réponses, ChatGPT a été considéré comme meilleur que les médecins.

• Réponses de bonne ou de très bonne qualité : ChatGPT a reçu ces notes pour 78 % des réponses, alors que les médecins ne l'ont fait que pour 22 % des réponses.
• Réponses empathiques ou très empathiques : ChatGPT a obtenu un score de 45 % et les médecins de 4,6 %.

Notamment, la longueur des réponses était beaucoup plus courte pour les médecins (moyenne de 52 mots) que pour ChatGPT (moyenne de 211 mots).

Comme je l'ai dit, même pas proche. Alors, tous ces gros titres haletants étaient-ils finalement appropriés ?

Pas si vite : limites importantes de cette recherche sur l’IA

L'étude n'a pas été conçue pour répondre à deux questions clés :

• Les réponses de l’IA offrent-elles des informations médicales précises et améliorent-elles la santé des patients tout en évitant toute confusion ou tout préjudice ?
• Les patients accepteront-ils l’idée qu’un robot puisse répondre aux questions qu’ils posent à leur médecin ?

Et il y avait de sérieuses limites :

• Évaluer et comparer les réponses : Les évaluateurs ont appliqué des critères subjectifs et non testés en matière de qualité et d'empathie. Il est important de noter qu’ils n’ont pas évalué la réalité précision des réponses. Les réponses n’ont pas non plus été évaluées pour la fabrication, un problème qui a été noté avec ChatGPT.
• La différence de longueur des réponses : Des réponses plus détaillées pourraient sembler refléter de la patience ou de l’inquiétude. Ainsi, des notes plus élevées pour l’empathie pourraient être davantage liées au nombre de mots qu’à la véritable empathie.
• Aveuglement incomplet : Pour minimiser les biais, les évaluateurs n'étaient pas censés savoir si une réponse provenait d'un médecin ou de ChatGPT. Il s'agit d'une technique de recherche courante appelée « aveugle ». Mais la communication générée par l’IA ne ressemble pas toujours exactement à celle d’un humain, et les réponses de l’IA étaient nettement plus longues. Il est donc probable que pour au moins certaines réponses, les évaluateurs n’ont pas été aveuglés.

L'essentiel

Les médecins pourraient-ils apprendre quelque chose sur les expressions d’empathie à partir des réponses générées par l’IA ? Peut-être. L’IA pourrait-elle fonctionner comme un outil collaboratif, générant des réponses qu’un médecin examine et révise ? En fait, certains systèmes médicaux utilisent déjà l’IA de cette manière.

Mais il semble prématuré de s’appuyer sur les réponses de l’IA aux questions des patients sans preuve solide de leur exactitude et sans une supervision réelle par des professionnels de santé. Cette étude n’a pas été conçue pour fournir non plus.

Et d’ailleurs, ChatGPT est d’accord : je lui ai demandé s’il pouvait mieux répondre aux questions médicales qu’un médecin. Sa réponse fut non.

Nous aurons besoin de recherches supplémentaires pour savoir quand il sera temps de libérer le génie de l’IA pour répondre aux questions des patients. Nous n’en sommes peut-être pas encore là, mais nous nous en rapprochons.

Vous voulez plus d'informations

à propos de la recherche ? Lisez les réponses rédigées par des médecins et un chatbot, comme les réponses à une préoccupation concernant les conséquences après avoir avalé un cure-dent.