Twitter avait un nouveau plan pour lutter contre l’extrémisme – puis Elon est arrivé
Cela avait été une longue pandémie pour l’équipe de recherche de Twitter. Chargés de résoudre certains des problèmes les plus difficiles de la plate-forme concernant le harcèlement, l’extrémisme et la désinformation, les membres du personnel se sont enfuis à Napa Valley en novembre 2021 pour une retraite d’entreprise. Malgré un changement tumultueux de leadership – Jack Dorsey avait récemment démissionné, nommant l’ancien directeur de la technologie Parag Agrawal à sa place – le groupe s’est senti unifié, voire plein d’espoir. Après des mois de lutte contre les mauvais acteurs en ligne, les employés ont pris un moment pour se détendre. « Nous avons enfin eu l’impression d’avoir une équipe soudée », explique un chercheur.
Mais lors du brunch d’adieu du dernier jour, les téléphones des gens ont commencé à sonner avec des nouvelles alarmantes : leur patron, Dantley Davis, vice-président du design de Twitter, avait été licencié. Personne ne savait que ça allait arriver. « C’était comme un film », a déclaré un participant, qui a demandé à rester anonyme car il n’est pas autorisé à parler publiquement de l’entreprise. « Les gens ont commencé à pleurer. J’étais juste assis là en train de manger un croissant en disant : ‘Qu’est-ce qui se passe avec l’ambiance ?’ »
La nouvelle laissait présager une spirale descendante pour l’organisation de recherche. Bien que le groupe ait été habitué aux réorganisations, un remaniement au milieu d’une sortie destiné à lier l’équipe était profondément symbolique.
La tourmente a atteint son paroxysme en avril, lorsqu’Elon Musk a signé un accord pour acheter Twitter. Des entretiens avec des employés actuels et anciens, ainsi que 70 pages de documents internes, suggèrent que le chaos entourant l’acquisition de Musk a poussé certaines équipes au point de rupture, incitant de nombreux chercheurs en santé à démissionner, certains affirmant que leurs collègues ont été invités à déprioriser les projets de lutte contre l’extrémisme dans faveur de se concentrer sur les bots et les spams. L’accord Musk pourrait même ne pas se concrétiser, mais les effets sur les efforts de santé de Twitter sont déjà clairs.
L’équipe de santé, autrefois chargée de favoriser les conversations civiles sur la plate-forme réputée incivile, est passée de 15 employés à temps plein à deux.
En 2019, Jack Dorsey a posé une question fondamentale sur la plateforme qu’il avait contribué à créer : « Pouvons-nous réellement mesurer la santé de la conversation ?
Sur scène lors d’une conférence TED à Vancouver, le PDG vêtu d’un bonnet a parlé avec ferveur d’investir dans des systèmes automatisés pour détecter de manière proactive les mauvais comportements et « soulager complètement la victime ».
Cet été-là, l’entreprise a commencé à recruter une équipe de chercheurs en santé pour mener à bien la mission de Dorsey. Son discours a convaincu des personnes qui travaillaient dans le milieu universitaire ou pour de grandes entreprises technologiques comme Meta de rejoindre Twitter, inspirées par la perspective de travailler à un changement social positif.
Lorsque le processus a fonctionné comme prévu, les chercheurs en santé ont aidé Twitter à réfléchir aux abus potentiels de nouveaux produits. En 2020, Twitter travaillait sur un outil appelé « unmention » qui permet aux utilisateurs de limiter qui peut répondre à leurs tweets. Les chercheurs ont mené un exercice d’« équipe rouge », réunissant des employés de toute l’entreprise pour explorer comment l’outil pourrait être utilisé à mauvais escient. La non-mention pourrait permettre aux « personnes puissantes [to] supprimer la dissidence, la discussion et la correction » et permettre « aux harceleurs cherchant à entrer en contact avec leurs cibles [to] contraindre les cibles à répondre en personne », a écrit l’équipe rouge dans un rapport interne.
Mais le processus n’a pas toujours été aussi fluide. En 2021, l’ancien chef de produit Twitter Kayvon Beykpour a annoncé que la priorité numéro un de l’entreprise était de lancer Spaces. (« C’était un assaut complet pour tuer Clubhouse », dit un employé.) L’équipe affectée au projet a fait des heures supplémentaires pour essayer de sortir la fonctionnalité et n’a pas programmé d’exercice d’équipe rouge avant le 10 août – trois mois après lancement. En juillet, l’exercice a été annulé. Les espaces ont été mis en ligne sans une évaluation complète des principaux risques, et les nationalistes blancs et les terroristes ont inondé la plate-forme, alors que La Poste de Washington signalé.
Lorsque Twitter a finalement organisé un exercice d’équipe rouge pour Spaces en janvier 2022, le rapport a conclu : « Nous n’avons pas donné la priorité à l’identification et à l’atténuation des risques pour la santé et la sécurité avant de lancer Spaces. Cette équipe rouge est arrivée trop tard. Malgré des investissements critiques au cours de la première année et demie de construction de Spaces, nous avons été largement réactifs aux dommages réels infligés par des acteurs malveillants dans Spaces. Nous avons trop compté sur le grand public pour identifier les problèmes. Nous avons lancé des produits et des fonctionnalités sans exploration adéquate des implications potentielles pour la santé.
Plus tôt cette année, Twitter est revenu sur son projet de monétiser le contenu pour adultes après qu’une équipe rouge ait découvert que la plateforme n’avait pas réussi à traiter de manière adéquate le matériel d’exploitation sexuelle des enfants. C’était un problème dont les chercheurs avaient mis en garde depuis des années. Les employés ont déclaré que les dirigeants de Twitter étaient au courant du problème, mais ont noté que l’entreprise n’avait pas alloué les ressources nécessaires pour le résoudre.
À la fin de 2021, les chercheurs en santé de Twitter avaient passé des années à jouer au taupe avec de mauvais acteurs sur la plate-forme et avaient décidé de déployer une approche plus sophistiquée pour traiter les contenus préjudiciables. En externe, l’entreprise a été régulièrement critiquée pour avoir laissé des groupes dangereux se déchaîner. Mais en interne, on avait parfois l’impression que certains groupes, comme les théoriciens du complot, étaient également expulsés de la plate-forme bientôt — avant que les chercheurs ne puissent étudier leur dynamique.
« L’ancienne approche était presque comiquement inefficace et très réactive – un processus manuel consistant à jouer au catch », explique un ancien employé, qui a demandé à rester anonyme car il n’est pas autorisé à parler publiquement de l’entreprise. « Définir et attraper simplement les » méchants « est un jeu perdant. »
Au lieu de cela, les chercheurs espéraient identifier les personnes qui étaient sur le point de s’engager avec des tweets nuisibles et les pousser vers un contenu plus sain à l’aide de messages contextuels et d’interstitiels. « Le pilote permettra à Twitter d’identifier et d’exploiter les signaux comportementaux – plutôt que de contenu – et d’atteindre les utilisateurs à risque de préjudice avec une redirection vers un contenu et des services de soutien », lit-on dans une note de projet interne, consultée par Le bord.
Les chercheurs de Twitter se sont associés à Moonshot, une entreprise spécialisée dans l’étude des extrémistes violents, et ont lancé un projet appelé Redirect, inspiré du travail que Google et Facebook avaient fait pour freiner la propagation des communautés nuisibles. Chez Google, ce travail avait abouti à une campagne sophistiquée visant à cibler les personnes recherchant du contenu extrémiste avec des publicités et des vidéos YouTube visant à démystifier les messages extrémistes. Twitter prévoyait de faire de même.
L’objectif était de faire en sorte que l’entreprise ne se contente plus de réagir aux mauvais comptes et aux publications pour guider de manière proactive les utilisateurs vers un meilleur comportement.
« Les efforts de Twitter pour endiguer les groupes nuisibles ont tendance à se concentrer sur la définition de ces groupes, en les désignant dans un cadre politique, en détectant leur portée (par l’affiliation et les comportements de groupe) et en suspendant ou en déformant ceux au sein de la cohorte », lit-on dans un résumé de projet interne. « Ce projet cherche plutôt à comprendre et traiter en amont les comportements des utilisateurs. Au lieu de nous concentrer sur la désignation de comptes ou de contenus malveillants, nous cherchons à comprendre comment les utilisateurs trouvent du contenu de groupe nuisible dans les comptes, puis à rediriger ces efforts. »
Dans la première phase du projet, qui a débuté l’année dernière, les chercheurs se sont concentrés sur trois communautés : l’extrémisme violent à motivation raciale ou ethnique, l’extrémisme violent anti-gouvernemental ou anti-autorité et les incels. Dans une étude de cas sur le mouvement boogaloo, un groupe d’extrême droite axé sur l’incitation à une seconde guerre civile américaine, Moonshot a identifié 17 influenceurs très engagés au sein de la communauté, utilisant Twitter pour partager et diffuser leur idéologie.
Le rapport décrivait les points d’intervention possibles : un lorsque quelqu’un tentait de rechercher un terme boogaloo et un autre lorsqu’il était sur le point de s’engager avec un élément de contenu boogaloo. « L’approche de Moonshot en matière d’identification de la communauté centrale pourrait mettre en évidence les utilisateurs se dirigeant vers cette sphère d’influence, provoquant un message interstitiel de Twitter », indique le rapport.
L’équipe a également suggéré d’ajouter un message contextuel avant que les utilisateurs ne puissent retweeter le contenu extrémiste. Les interventions visaient à ajouter de la friction au processus de recherche et d’interaction avec les tweets nuisibles. Bien fait, cela atténuerait l’impact du contenu extrémiste sur Twitter, ce qui rendrait plus difficile pour les groupes de recruter de nouveaux abonnés.
Avant que ce travail ne puisse être pleinement mis en œuvre, cependant, Musk a conclu un accord avec le conseil d’administration de Twitter pour acheter l’entreprise. Peu de temps après, les employés qui dirigeaient le partenariat Moonshot sont partis. Et dans les mois qui ont suivi la signature de l’accord par Musk, l’équipe de recherche en santé s’est pratiquement évaporée, passant de 15 membres du personnel à seulement deux.
« La vente de l’entreprise à Elon Musk était la cerise sur le gâteau d’un historique beaucoup plus long de décisions prises par des hauts gradés de l’entreprise montrant que la sécurité n’était pas une priorité », a déclaré un employé.
Plusieurs anciens chercheurs ont déclaré que l’agitation associée à l’offre de Musk pour acheter la société était un point de rupture et les a amenés à décider de poursuivre d’autres travaux.
« Le chaos de l’accord m’a fait réaliser que je ne voulais pas travailler pour un Twitter privé appartenant à Musk, mais aussi que je ne voulais pas travailler pour un Twitter public n’appartenant pas à Musk », a déclaré un ancien. dit l’employé. « Je ne voulais tout simplement plus travailler pour Twitter. »
La phase deux du projet Redirect – qui aurait aidé Twitter à comprendre quelles interventions fonctionnaient et comment les utilisateurs interagissaient réellement avec elles – a reçu un financement. Mais au moment où l’argent est arrivé, il n’y avait pas de chercheurs disponibles pour le superviser. Certains employés qui sont restés auraient été invités à déprioriser la redirection en faveur de projets liés aux bots et au spam, sur lesquels Musk s’est concentré dans sa tentative de se retirer de l’accord.
La porte-parole de Twitter, Lauren Alexander, a refusé de commenter le dossier.
Un employé a capturé la frustration de l’équipe dans un tweet: « Complètement indifférent à ce que Jack ou tout autre c-suiter a à dire sur cette prise de contrôle », a écrit l’employé, capturant un article sur la position du PDG de Twitter, Parag Agrawal, et de l’ancien PDG, Jack Dorsey. à gagner de l’accord avec Musk. « Puissiez-vous tous tomber dans un très long escalier. » (L’employé a refusé de commenter.)
Selon les employés actuels, le tweet a été signalé comme une menace pour un collègue et l’employé a été licencié.