Incidents associés
L'année dernière, des chercheurs de Facebook ont montré aux dirigeants un exemple du type de discours de haine circulant sur le réseau social : un message réel présentant une image de quatre législatrices démocrates connues collectivement sous le nom de "The Squad".
L'affiche, dont le nom a été effacé pour des raisons de confidentialité, qualifiait les femmes, dont deux sont musulmanes, de "têtes de chiffon swami". Un commentaire d'une autre personne a utilisé un langage encore plus vulgaire, qualifiant les quatre femmes de couleur de "c---s noires", selon des documents internes de l'entreprise exclusivement obtenus par le Washington Post.
Le message représentait le "pire des pires" langage sur Facebook – la majorité d'entre eux s'adressant à des groupes minoritaires, selon un effort de deux ans d'une grande équipe travaillant dans toute l'entreprise, selon le document. Les chercheurs ont exhorté les dirigeants à adopter une refonte agressive de son système logiciel qui ne supprimerait principalement que les messages haineux avant que les utilisateurs de Facebook ne puissent les voir.
Mais les dirigeants de Facebook ont hésité face au plan. Selon deux personnes familières avec le débat interne, des hauts dirigeants, dont le vice-président pour la politique publique mondiale Joel Kaplan, craignaient que le nouveau système ne fasse pencher la balance en protégeant certains groupes vulnérables par rapport à d'autres. Un responsable politique a préparé un document pour Kaplan qui a soulevé le potentiel de réaction des « partenaires conservateurs », selon le document. Les gens ont parlé à The Post sous couvert d'anonymat pour discuter de questions internes sensibles.
Le débat précédemment non rapporté est un exemple de la façon dont les décisions de Facebook au nom d'être neutre et aveugle à la race se font en fait au détriment des minorités et en particulier des personnes de couleur. Loin de protéger les utilisateurs noirs et d'autres minorités, les dirigeants de Facebook ont fini par instituer des demi-mesures après le projet "le pire des pires" qui a laissé les minorités plus susceptibles de rencontrer un langage désobligeant et raciste sur le site, ont déclaré les gens.
"Même si [les dirigeants de Facebook] n'ont aucune animosité envers les personnes de couleur, leurs actions sont du côté des racistes", a déclaré Tatenda Musapatike, ancienne responsable de Facebook travaillant sur les publicités politiques et PDG du Voter Formation Project, un organisme non partisan. , organisation à but non lucratif qui utilise la communication numérique pour accroître la participation aux élections locales et nationales. "Vous dites que la santé et la sécurité des femmes de couleur sur la plateforme ne sont pas aussi importantes que de plaire à vos riches amis blancs."
L'audience noire sur Facebook est en déclin, selon les données d'une étude Facebook menée plus tôt cette année qui a été révélée dans des documents obtenus par la lanceuse d'alerte Frances Haugen. Selon le rapport de février, le nombre d'utilisateurs mensuels noirs a chuté de 2,7 % en un mois pour atteindre 17,3 millions d'adultes. Cela montre également que l'utilisation par les Noirs a culminé en septembre 2020. Le conseiller juridique de Haugen a fourni des versions expurgées des documents au Congrès, qui ont été consultées par un consortium d'organes de presse, dont The Post.
Les groupes de défense des droits civiques affirment depuis longtemps que les algorithmes et les politiques de Facebook ont un impact négatif disproportionné sur les minorités, et en particulier les utilisateurs noirs. Les documents « les pires des pires » montrent que ces allégations étaient en grande partie vraies dans le cas où le discours de haine est resté en ligne.
Mais Facebook n'a pas divulgué ses conclusions aux leaders des droits civiques. Même les auditeurs indépendants des droits civiques que Facebook a embauchés en 2018 pour mener une étude majeure sur les questions raciales sur sa plateforme disent qu'ils n'ont pas été informés des détails de la recherche selon lesquels les algorithmes de l'entreprise ont nui de manière disproportionnée aux minorités. Laura Murphy, présidente de Laura Murphy and Associates, qui a dirigé le processus d'audit des droits civils, a déclaré que Facebook lui avait dit que "l'entreprise ne collecte pas de données sur le ou les groupes protégés contre lesquels le discours de haine était dirigé".
"Je n'affirme pas d'intention néfaste, mais il est profondément préoccupant que les mesures qui montraient l'impact disproportionné de la haine dirigée contre les utilisateurs noirs, juifs, musulmans, arabes et LGBTQIA n'aient pas été partagées avec les auditeurs", a déclaré Murphy dans un communiqué. "De toute évidence, ils ont collecté des données dans ce sens."
Les auditeurs, dans le rapport qu'ils ont publié l'année dernière, concluaient toujours que les décisions politiques de Facebook étaient un "énorme revers" pour les droits civils.
Le porte-parole de Facebook, Andy Stone, a défendu les décisions de l'entreprise concernant ses politiques en matière de discours de haine et la manière dont elle a mené ses relations avec les auditeurs des droits civiques.
"Le projet Le pire des pires nous a aidés à montrer quels types de discours de haine notre technologie était et n'était pas efficace pour détecter et comprendre quelles formes de discours les gens croient être les plus insidieuses", a déclaré Stone dans un communiqué.
Il a déclaré que les progrès sur les questions raciales comprenaient des politiques telles que l'interdiction des groupes nationalistes blancs, l'interdiction des contenus faisant la promotion de stéréotypes raciaux – tels que les personnes portant un visage noir ou les affirmations selon lesquelles les Juifs contrôlent les médias – et la réduction de la prévalence des discours de haine à 0,03% du contenu sur la plate-forme.
Facebook a abordé l'audit des droits civils avec "transparence et ouverture" et était fier des progrès qu'il a réalisés sur les questions de race, a déclaré Stone.
Stone a noté que l'entreprise avait mis en œuvre des parties du projet "le pire du pire". "Mais après une discussion interne rigoureuse sur ces questions difficiles, nous n'avons pas mis en œuvre toutes les parties, car cela aurait en fait signifié moins de suppressions automatisées de discours de haine tels que des déclarations d'infériorité à l'égard des femmes ou des expressions de mépris à l'égard des personnes multiraciales", a-t-il ajouté.
Biais algorithmique
Les chercheurs de Facebook ont d'abord montré le message raciste mettant en vedette The Squad – Reps. Alexandria Ocasio-Cortez (D-N.Y.), Ilhan Omar (D-Minn.), Rashida Tlaib (D-Mich.) Et Ayanna Pressley (D-Mass.) – à plus de 10 000 utilisateurs de Facebook lors d'une enquête en ligne en 2019. (The Squad compte désormais six membres.) Les utilisateurs ont été invités à évaluer 75 exemples de discours de haine sur la plateforme afin de déterminer ce qu'ils considéraient comme le plus préjudiciable.
D'autres messages parmi les exemples comprenaient un message qui disait: "Beaucoup d'immagruntz de trou du cul sur l'aide sociale renvoient de l'argent dans leurs jungles d'origine." Une image d'un chimpanzé dans une chemise à manches longues était sous-titrée, "Voici celle de Michelle Obama." Un autre message de l'enquête a déclaré: «La seule aide humanitaire nécessaire à la frontière est quelques centaines de tourelles de mitrailleuses à détecteur de mouvement. Problème résolu."
Les 10 pires exemples, selon les utilisateurs interrogés, étaient presque tous dirigés vers des groupes minoritaires, selon des documents. Cinq des messages étaient destinés aux Noirs, y compris des déclarations sur l'infériorité mentale et le dégoût. Deux visaient la communauté LGBTQ. Les trois autres étaient des commentaires violents dirigés contre les femmes, les Mexicains et les Blancs.
Ces conclusions sur le contenu le plus répréhensible ont été maintenues même parmi les conservateurs blancs auto-identifiés que l'équipe d'étude de marché s'est rendue dans les États du Sud. Les chercheurs de Facebook ont recherché les points de vue des conservateurs blancs en particulier parce qu'ils voulaient surmonter les objections potentielles de la direction de l'entreprise, qui était connue pour apaiser les points de vue de droite, ont déclaré deux personnes.
Pourtant, les messages racistes contre les minorités n'étaient pas ce que les propres algorithmes de détection des discours de haine de Facebook trouvaient le plus souvent. Le logiciel, introduit par la société en 2015, était censé détecter et supprimer automatiquement les discours de haine avant que les utilisateurs ne les voient. Publiquement, la société a déclaré en 2019 que ses algorithmes captaient de manière proactive plus de 80% des discours de haine.
Mais cette statistique cachait un problème sérieux qui était évident pour les chercheurs : l'algorithme détectait de manière agressive les commentaires dénigrant les Blancs plus que les attaques contre tous les autres groupes, selon plusieurs des documents. Un document d'avril 2020 indiquait qu'environ 90% des «discours de haine» faisant l'objet de retraits de contenu étaient des déclarations de mépris, d'infériorité et de dégoût à l'encontre des Blancs et des hommes, bien que le délai ne soit pas clair. Et il a systématiquement échoué à supprimer le contenu raciste le plus désobligeant. Le Post a précédemment rendu compte d'une partie du projet.
Les chercheurs ont également découvert en 2019 que les algorithmes de discours de haine étaient en décalage avec les rapports réels de discours préjudiciables sur la plate-forme. Cette année-là, les chercheurs ont découvert que 55 % des utilisateurs de contenu signalés à Facebook comme les plus nuisibles étaient destinés à seulement quatre groupes minoritaires : les Noirs, les Musulmans, la communauté LGBTQ et les Juifs, selon les documents.
Les chercheurs ont découvert que l'une des raisons de ces erreurs était que les règles de conduite "aveugles à la race" de Facebook sur la plate-forme ne distinguaient pas les cibles du discours de haine. De plus, la société avait décidé de ne pas autoriser les algorithmes à supprimer automatiquement de nombreuses insultes, selon les personnes, au motif que les algorithmes ne pouvaient pas facilement faire la différence lorsqu'une insulte telle que le mot n et le mot c était utilisé positivement ou familièrement au sein d'une communauté. Les algorithmes surindexaient également la détection de contenus moins préjudiciables qui se produisaient plus fréquemment, tels que "les hommes sont des porcs", plutôt que de trouver des contenus moins courants mais plus préjudiciables.
"Si vous ne faites rien pour contrôler le racisme structurel dans votre société, vous finirez toujours par l'amplifier", a déclaré l'une des personnes impliquées dans le projet à The Post. "Et c'est exactement ce que les algorithmes de Facebook ont fait."
"Ces informations confirment ce que beaucoup d'entre nous savaient déjà : que Facebook participe activement et volontairement à la diffusion de discours de haine et de désinformation", a déclaré Omar dans un communiqué. «Pendant des années, nous avons fait part de nos inquiétudes à Facebook concernant le contenu routinier anti-musulman, anti-noir et anti-immigré sur Facebook, en grande partie basé sur des mensonges éhontés. Il est clair qu'ils ne se soucient que du profit et qu'ils sacrifieront notre démocratie pour la maximiser.
Pendant des années, les utilisateurs noirs ont déclaré que ces mêmes systèmes automatisés confondaient également les messages sur le racisme avec des discours de haine – envoyant l'utilisateur en «prison Facebook» en bloquant son compte – et en faisaient des cibles disproportionnées de discours de haine que l'entreprise n'a pas réussi à contrôler. Mais lorsque les leaders des droits civiques se sont plaints, ces problèmes de modération de contenu ont été systématiquement rejetés comme de simples "incidents isolés" ou "anecdotiques", a déclaré Rashad Robinson, président de Color of Change, un groupe de défense des droits civiques qui recherchait régulièrement une action plus énergique de la part de l'entreprise contre la haine. discours et incitations à la violence sur Facebook, et a fait valoir que Kaplan devrait être renvoyé.
"Ils repousseraient régulièrement cela", a déclaré Robinson. "Ils diraient:" Ce n'est tout simplement pas vrai, Rashad. " Ils diraient: "Avez-vous des données pour étayer cela?" "
Malkia Devich-Cyril, une militante noire et homosexuelle, et ancienne directrice exécutive du Center for Media Justice, qui a dirigé deux pages Black Lives Matter sur Facebook en 2016, a déclaré qu'elle devait arrêter de gérer les pages parce qu'elles étaient « harcelées sans relâche, », y compris avoir reçu des menaces de mort.
"Cela m'a rendu malade", a déclaré Devich-Cyril. «En tant que militante – dont la vocation est d'être en première ligne et de lutter pour le changement – cela a créé en moi une sorte de peur. Si ce genre de facteur de refroidissement dans un État démocratique est ce que vise Facebook, ils l'ont atteint.
Un ensemble de règles pour tout le monde
En décembre 2019, les chercheurs sur le « pire des pires », connus sous le nom de Projet WoW, étaient prêts à livrer les conclusions de deux années de travail aux principaux dirigeants de l'entreprise, dont Kaplan et la responsable de la gestion des politiques mondiales Monika Bickert.
Ils proposaient une refonte majeure de l'algorithme du discours de haine. Désormais, l'algorithme serait étroitement adapté pour supprimer automatiquement les discours de haine contre seulement cinq groupes de personnes - celles qui sont noires, juives, LGBTQ, musulmanes ou de plusieurs races - que les utilisateurs jugent les plus graves et les plus nuisibles. (Les chercheurs espéraient éventuellement étendre les capacités de détection de l'algorithme pour protéger d'autres groupes vulnérables, une fois que l'algorithme aurait été recyclé et serait sur la bonne voie.) Les menaces directes de violence contre tous les groupes seraient toujours supprimées.
Les utilisateurs de Facebook pourraient toujours signaler tout message qu'ils jugeaient nuisible, et les modérateurs de contenu de l'entreprise y jetteraient un deuxième coup d'œil.
L'équipe savait qu'apporter ces changements pour protéger les minorités les plus vulnérables par rapport aux autres serait difficile à vendre, selon les personnes familières avec la situation. Facebook fonctionne en grande partie avec un ensemble de normes pour des milliards d'utilisateurs. Les politiques qui pourraient bénéficier à un pays ou à un groupe particulier ont souvent été rejetées car elles n'étaient pas « évolutives » dans le monde entier et pouvaient donc interférer avec la croissance de l'entreprise, selon de nombreux employés anciens et actuels.
En février 2020, Kaplan et d'autres dirigeants ont examiné la proposition - et ont rapidement rejeté les modifications les plus substantielles. Ils ont estimé que les changements protégeaient trop étroitement quelques groupes, tout en laissant de côté d'autres, exposant l'entreprise à la critique, selon trois des personnes. Par exemple, la proposition n'aurait pas permis la suppression automatique des commentaires contre les Mexicains ou les femmes. Le document préparé pour Kaplan faisait référence au fait que certains "partenaires conservateurs" pourraient résister au changement parce qu'ils pensent que "la haine dirigée contre les personnes trans est l'expression d'une opinion".
Lorsqu'on lui a demandé de commenter Kaplan se pliant aux conservateurs, Stone de Facebook a déclaré que l'objection de Kaplan à la proposition était due aux types de discours de haine qu'il ne supprimerait plus automatiquement.
Kaplan, le républicain le plus influent de l'entreprise, était largement connu comme un fervent partisan de l'idée que Facebook devrait apparaître "politiquement neutre", et son idéologie intransigeante sur la liberté d'expression était en phase avec le PDG de l'entreprise, Mark Zuckerberg. (Facebook a récemment changé sa dénomination sociale en Meta.) Il s'est plié en quatre pour protéger les conservateurs, selon des rapports précédents dans The Post, de nombreux anciens initiés et les Facebook Papers.
Mais Kaplan et les autres dirigeants ont donné leur feu vert à une version du projet qui supprimerait le discours le moins nuisible, selon la propre étude de Facebook : programmer les algorithmes pour qu'ils cessent de supprimer automatiquement les contenus destinés aux Blancs, aux Américains et aux hommes. Le Post a précédemment rendu compte de ce changement lorsqu'il a été annoncé en interne plus tard en 2020.
"Facebook semble assimiler la protection des utilisateurs noirs à mettre son pouce sur la balance", a déclaré David Brody, avocat principal du Comité des avocats pour les droits civils en vertu de la loi, lorsque The Post lui a présenté les recherches de l'entreprise. "L'algorithme qui protégeait de manière disproportionnée les utilisateurs blancs et exposait les utilisateurs noirs - c'est à ce moment-là que Facebook a mis le pouce sur la balance."
Cette année, Facebook a mené une étude sur les produits de consommation sur la «justice raciale» qui a révélé que les utilisateurs noirs quittaient Facebook. Il a constaté que les jeunes utilisateurs noirs en particulier étaient attirés par TikTok. Il semble confirmer une étude d'il y a trois ans intitulée Project Vibe qui avertissait que les utilisateurs noirs étaient "en danger" de quitter la plate-forme en raison de "la manière dont Facebook applique sa politique de discours de haine".
"Le degré de menaces de mort sur ces plateformes, en particulier Facebook, que mes collègues ont subi est intenable", a déclaré Devich-Cyril, qui a ajouté qu'aujourd'hui, ils publient rarement publiquement sur la politique sur Facebook. "C'est trop dangereux d'une plate-forme."