Les normes arrivent. Les entreprises de technologie de l’éducation sont-elles préparées ?


Avant la Journée pour un Internet plus sûr, la chercheuse invitée de la LSE, le Dr Velislava Hillman, affirme que les nouvelles normes IEEE proposées pour un cadre de services numériques adaptés à l’âge doivent être considérées comme un tremplin vers l’élaboration de cadres et de normes significatifs pour gouverner et réglementer le secteur des technologies de l’information.

Lorsque la réglementation n’est pas en place, quels sont les enjeux ?

Lorsque Mithridate VI, le souverain du nord de l’Anatolie entre 120 et 63 av. J.-C., a créé le « mithridatium », un médicament composé de plus de 50 ingrédients (!), Il a été considéré comme un remède contre toutes les maladies pendant des siècles. Ce n’est qu’en 1540 en Angleterre que le mithridatium et d’autres médicaments ont été soumis à une évaluation en vertu de l’Apothecaries Wares, Drugs and Stuffs Act. Et il a fallu plusieurs siècles et de nombreux événements catastrophiques, dont la catastrophe de la thalidomide dans les années 1950, pour qu’une normalisation mondiale rigoureuse soit introduite.

Alors que de nombreux acteurs de l’industrie des technologies de l’éducation (edtech) se vantent d’améliorer l’apprentissage grâce à des programmes personnalisés basés sur l’intelligence artificielle (IA), l’analyse algorithmique et davantage de collecte de données auprès des étudiants (alors que certains chercheurs poussent même à personnaliser l’éducation selon des critères génétiques !), on ne peut pas mais s’inquiéter des conséquences de ce marché encore largement non régulé.

Quels sont les risques de l’IA dans l’éducation ?

Aujourd’hui, de nombreux produits edtech ont dépassé l’offre d’un simple accès au contenu et à la connectivité. La collecte de données et la modélisation algorithmique propulsent le profilage et le contrôle des utilisateurs d’une manière que les étudiants et même leurs enseignants peuvent ne pas connaître et comprendre. Les applications Edtech pour l’apprentissage, l’instruction et l’évaluation utilisent des technologies de nudge et d’hyper-nudge pour influencer et manipuler les utilisateurs. Les résultats des moteurs de recherche de Google utilisent depuis longtemps cette technique de manipulation – incitant les utilisateurs à cliquer sur la première page et à ne pas aller au-delà, même si tous les choix sont disponibles et qu’aucun dommage évident ne les gêne. La configuration algorithmique de Google est configurée pour amorcer les utilisateurs, et cet amorçage est conçu par les architectes de Google à l’insu des utilisateurs.

De même, la plate-forme edtech basée sur l’IA Century Tech utilise des techniques d’hyper-coup de pouce, orientant les étudiants vers ce qu’il faut apprendre et comment. La plateforme oriente le comportement des étudiants de manière prévisible ; ils réagissent simplement aux coups de coude et aux stimuli. Ainsi, la plate-forme présente une forme «douce» de contrôle comportemental précisément parce qu’on ne peut pas prendre consciemment conscience d’être manipulé. Pendant ce temps, la technologie crée un réservoir de données substantiel de connaissances détaillées sur les étudiants (plus qu’ils ne le pensent). Personne ne peut deviner comment ce réservoir de données est déployé pour réguler, par conception, ce que les élèves apprennent, précisément en raison du manque de normes et de réglementations claires de ces mécanismes.

De nombreux produits edtech établissent des liens directs avec les neurosciences, en cherchant à connecter les étudiants à des technologies capables de surveiller leur humeur et leur niveau de stress, de recueillir leurs pensées personnelles, de suivre leur fréquence cardiaque et leur regard, et de collecter des données biologiques, neurales et comportementales. Symanto est un outil d’analyse de texte psychographique dont l’IA est utilisée dans les universités pour surveiller le comportement des étudiants et soutenir leur réussite et leur bien-être mental. Parmi les autres logiciels qui prétendent aider les étudiants aux prises avec des difficultés personnelles et émotionnelles, citons Solutionpath, Stream et Gaggle, pour n’en citer que quelques-uns. Ces entreprises recueillent des mesures sur la fréquentation, l’utilisation de la bibliothèque, les notes, les activités d’apprentissage en ligne, l’historique de recherche des étudiants et plus encore. Les données recueillies sont utilisées pour faire des déductions sur les élèves et décider s’ils vont « bien » ou non.

Personne ne sait qui se cache derrière ces décisions inférentielles ; que se passe-t-il une fois qu’un élève est marqué comme « malade » ; qui utilise ces évaluations ; et comment ils peuvent les affecter plus tard dans leur vie. Gaggle, par exemple, embauche des travailleurs à temps partiel pour surveiller le contenu des étudiants. Indeed.com fournit des avis des « représentants de la sécurité » de Gaggle. Bien que ceux-ci méritent une attention particulière et des recherches plus approfondies, les examens suggèrent que travailler en tant que représentant de la sécurité chez Gaggle est un travail peu rémunéré ; considéré comme un « concert parallèle ». Un critique dit: ‘Le représentant de base du niveau le plus bas (auquel vous commencerez) n’a accès qu’aux documents de révision. C’est un[s] simple que de lire une phrase et de déterminer s’il s’agit d’un contenu urgent ou préjudiciable. Si vous consacrez des heures et prouvez un taux de précision proche de 100 %, des responsabilités supplémentaires vous seront confiées..’ Non seulement des technologies telles que Gaggle, Symanto ou Century ne sont pas réglementées ; ils ne montrent pas de preuves substantielles d’avantages pour les étudiants. L’absence de réglementation laisse un chèque en blanc aux entreprises qui ont des capacités de surveillance et de manipulation humaines.

L’absence de normes favorise les entreprises, pas les individus

L’accès à l’edtech est souvent assimilé à l’amélioration de l’apprentissage. Mais à maintes reprises, les preuves montrent que bien qu’il existe une amélioration marginale, les technologies favorisent les personnes déjà aisées : moins les populations les plus défavorisées et déplacées. Reconnaissant qu’il existe de nombreuses opportunités que les technologies peuvent offrir pour l’apprentissage, des normes et des cadres clairs sont nécessaires pour aider à déterminer non seulement quels produits edtech contribuent aux processus éducatifs et comment, mais aussi qui en bénéficie et de quelle manière. L’absence de réglementation autour de la transparence des produits edtech, de leurs objectifs et de leurs effets, laisse le client dans l’ignorance avec un « médicament » qui promet de guérir tous les maux. Jusqu’à présent, personne ne connaît les ingrédients, à l’exception des propres ingénieurs des entreprises edtech. De plus, concernant le manque de réglementation et de normes, l’industrie maintient un laissez-faire attitude.

La réglementation commence par des normes de qualité significatives : cela doit commencer maintenant

Nous ne devons pas attendre que des catastrophes se produisent dans l’éducation pour tirer une normalisation et une analyse comparative significatives. Aujourd’hui, un tiers des utilisateurs d’Internet sont des enfants, mais le marché des technologies numériques continue de proposer des conceptions qui n’anticipent pas les enfants utilisateurs. Leur interdire simplement d’utiliser les technologies revient à leur interdire de faire du vélo dans la rue. Des normes appropriées doivent guider les ingénieurs, les scientifiques des données, les concepteurs d’expérience utilisateur, les spécialistes du marketing et les développeurs dans le développement et l’optimisation de leurs produits.

Un pas dans cette direction est la norme 2089-2021 de l’Institute of Electrical and Electronics Engineers (IEEE) développée sur la base des principes 5Rights pour les droits de l’enfant. Le cadre proposé énonce des règles, des modalités et des conditions qui garantissent que les entreprises fournissent des services numériques adaptés à l’âge dans les situations où leurs utilisateurs sont des enfants. La norme comble « un fossé entre les efforts mondiaux visant à garantir que les jeunes sont pris en compte par la conception dans le monde numérique, et le manque de conseils pratiques sur la manière d’y parvenir ». Cependant, de tels efforts doivent également être envisagés pour l’industrie des technologies de l’éducation. De plus, des travaux supplémentaires sont nécessaires pour créer un espace d’apprentissage sûr avec un organisme de gouvernance et de réglementation indépendant dédié qui veille à ce que l’industrie des technologies de l’éducation adhère à ces normes, donne la priorité aux meilleurs intérêts des apprenants et contribue effectivement à la pédagogie et au programme.

Cet article donne le point de vue de l’auteur et ne représente pas la position du blog Media@LSE, ni de la London School of Economics and Political Science.

Image en vedette : Photo de Jeswin Thomas sur Unsplash

Laisser un commentaire