Incidents associés
Une fonctionnalité Wired récente et tentaculaire a présenté les résultats de son analyse de la toxicité chez les commentateurs en ligne à travers les États-Unis. Sans surprise, c'était comme de l'herbe à chat pour tous ceux qui ont déjà entendu l'expression "ne lisez pas les commentaires". Selon "The Great Tech Panic: Trolls Across America", le Vermont compte les commentateurs en ligne les plus toxiques, tandis que Sharpsburg, en Géorgie, "est la ville la moins toxique des États-Unis."
Il n'y a qu'un seul problème.
L'API sous-jacente utilisée pour déterminer la "toxicité" classe des phrases comme "Je suis une femme noire gay" comme étant à 87 % de toxicité, et des phrases comme "Je suis un homme" comme les moins toxiques. L'API, appelée Perspective, est créée par Alphabet de Google au sein de son incubateur Jigsaw.
Lorsqu'il a été contacté pour un commentaire, un porte-parole de Jigsaw a déclaré à Engadget : "Perspective offre aux développeurs et aux éditeurs un outil pour les aider à détecter la toxicité en ligne dans le but de soutenir de meilleures discussions." Ils ont ajouté : "Perspective est toujours un travail en cours, et nous nous attendons à rencontrer des faux positifs à mesure que l'apprentissage automatique de l'outil s'améliore."
Fouiner avec le moteur derrière les données de Wired a révélé des résultats laids, comme la bibliothécaire du Vermont Jessamyn West découvert quand elle a lu l'article et essayé Perspective pour voir exactement ce qui fait un commentaire, ou un commentateur, perçu comme toxique (selon Alphabet, du moins).
Il est étrange de se demander si Wired n'a pas donné à Perspective un tour pour voir ce qui a rendu les personnes derrière sa carte des trolls "toxiques". Me demandant exactement cela, j'ai décidé d'essayer une variété de commentaires pour voir comment les résultats se comparaient à ceux de West. Je me suis efforcé de représenter les personnes que je semble voir le plus censurées sur les réseaux sociaux et les opinions du jour.
Mon expérience en tapant « Je suis une femme trans noire séropositive » a obtenu un classement de toxicité de 77 %. « Je suis une travailleuse du sexe noire » était toxique à 89 %, tandis que « Je suis un artiste porno » a été noté 80. Lorsque j'ai tapé « Les gens mourront s'ils tuent Obamacare », la phrase a obtenu un score de toxicité de 95 %.
L'article de Wired a analysé 92 millions de commentaires Disqus "sur une période de 16 mois, rédigés par près de 2 millions d'auteurs sur plus de 7 000 forums". Ils n'ont pas regardé les sites qui n'utilisent pas le logiciel de gestion des commentaires (donc Facebook et Twitter n'ont pas été inclus).
La pièce a expliqué:
Pour déterminer globalement ce qui est toxique et ce qui ne l'est pas, Disqus utilise l'API Perspective, un logiciel de la division Jigsaw d'Alphabet qui se branche sur son système. L'équipe Perspective a demandé à de vraies personnes de former l'API pour évaluer les commentaires. Le modèle définit un commentaire toxique comme "un commentaire grossier, irrespectueux ou déraisonnable susceptible de vous faire quitter une discussion".
Discrimination par algorithme
Dans un monde en ligne où la modération, l'interdiction et la censure sont largement laissées à l'automatisation comme l'API Perspective, il est essentiel pour toutes les personnes impliquées de savoir comment ces choses sont mesurées. "En regardant cela, le mot" toxique "est un terme technique très spécifique pour l'outil, cet outil Perspective qui est fabriqué par cette société Alphabet, que vous connaissez peut-être sous le nom de Google, qui essaie d'introduire [l'intelligence artificielle] dans commentant," West told Vermont Public Radio.
Perspective se présente comme un moyen d'améliorer les conversations en ligne, affirmant que "la menace d'abus et de harcèlement en ligne signifie que de nombreuses personnes cessent de s'exprimer et renoncent à rechercher des opinions différentes". C'est l'un des nombreux projets de puzzle "rendre le monde plus sûr".
Jigsaw a travaillé avec The New York Times et Wikipedia pour développer Perspective. Le NYT a rendu ses archives de commentaires disponibles à Jigsaw "pour aider à développer l'algorithme d'apprentissage automatique exécutant Perspective." Wikipédia contribué "160 000 annotations humaines étiquetées basées sur la demande de 5 000 travailleurs participatifs d'évaluer les commentaires de Wikipédia en fonction de leur toxicité. ... Chaque commentaire a été évalué par 10 travailleurs participatifs. "
Un article de février sur Perspective élaboré sur la formation humaine , processus d'apprentissage automatique derrière ce qui veut devenir l'outil mondial de mesure des commentaires et commentateurs nuisibles.
"Dans ce cas, Jigsaw a demandé à une équipe d'examiner des centaines de milliers de commentaires pour identifier les types de commentaires susceptibles de dissuader les gens d'une conversation", a écrit The NYT. "Sur la base de ces données, Perspective a fourni un score de zéro à 100 sur la similitude des nouveaux commentaires avec ceux identifiés comme toxiques."
Les résultats des commentaires de West en tapant dans Perspective étaient scandaleusement discriminatoires. S'identifier comme noir et/ou gay était jugé toxique. Elle l'a également essayé avec des handicaps visibles et invisibles, comme l'utilisation d'un fauteuil roulant et la surdité, et la façon la plus toxique de s'identifier dans une conversation s'est avérée être de dire "Je suis une femme sourde".
Lorsqu'on apprend à l'algorithme d'être raciste, sexiste et capacitiste (entre autres), cela conduit au silence et à la censure de populations entières. Le problème est que lorsque ces systèmes sont opérationnels, les personnes réduites au silence et bannies disparaissent sans laisser de trace. La discrimination par algorithme se produit dans le vide.
Nous ne pouvons qu'imaginer ce qui sous-tend le système automatisé de contrôle des commentaires sur Facebook. En août, Mary Canty Merrill, une psychologue qui conseille les entreprises sur la manière d'éviter les préjugés raciaux, a écrit un court article sur la définition du racisme sur Facebook.
Reveal News écrit, "Elle s'est connectée le lendemain pour la retrouver message supprimé et profil suspendu pendant une semaine. Un certain nombre de ses messages plus anciens, qui utilisaient également la formulation « Chers Blancs », avaient également été effacés. »
Coller son "Dear white people" dans l'API de Perspective a obtenu un score de 61% de toxicité.
À moins que Google liane anti-diversité James Damore ne soit le chef de projet pour Perspective, il est difficile d'imaginer que l'entreprise donnerait son feu vert à un produit qui pense que s'identifier comme une femme gay noire est toxique. (Wikipedia, en revanche, [je pourrais imaginer](https://arstechnica.com/information-technology/2017/02/one-third-of-personal-attacks-on-wikipedia-come-from-active- éditeurs/).)
Il est possible que l'outil recherche des commentaires avec des termes comme noir, gay et femme comme un potentiel élevé d'être abusif ou négatif, mais cela ferait de Perspective un emballage coûteux et exagéré pour l'équivalent de l'utilisation de Command-F pour diaboliser des mots que certaines personnes pourrait trouver bouleversant.
La portée de Perspective est également importante. Le projet est en partenariat avec Wikipedia, The New York Times, The Economist et The Guardian. Abandonnez tout espoir, vous les femmes noires gays qui entrez dans les commentaires là-bas.
Ce que nous avons découvert à propos de Perspective n'augure rien de bon pour l'avenir de l'apprentissage automatique ou de l'IA et de la mesure et de la modération des commentaires basés sur des algorithmes. Cela ne semble pas non plus bon pour la responsabilité avec des entreprises comme Google, Facebook et d'autres qui s'appuient sur l'automatisation pour la modération.
Je pense que nous en avons tous marre que Facebook nous dise "c'était un bug" et que les entreprises disent "ce n'est pas notre faute" et pointent du doigt des systèmes comme Perspective. Malgré le fait qu'ils sont complices en l'utilisant. Et ils devraient essayer ces choses contre des problèmes comme ne pas pouvoir s'identifier comme une femme noire gay dans un fil de commentaires sans risquer votre capacité à commenter.
Imaginez un système comme Perspective décidant si vous pouvez ou non utiliser des services commerciaux, comme Google AdSense. Prenez, par exemple, la femme afro-américaine qui a reçu jeudi un e-mail de Google AdSense indiquant qu'elle avait violé ses conditions en écrivant un article de blog sur la façon de traiter avec être appelé le n-mot ... sur son propre site Web.
Malheureusement, ce qui est également créé est une culture [où nous ne pouvons même pas parler d'abus] (https://twitter.com/paigelav/status/902899081713999873). Comme nous pouvons le voir, les implications pour la parole sont énormes - et nous en sommes déjà imprégnés. Plus encore si vous considérez que la "concurrence" pour quelque chose comme Perspective est clairement [déjà à l'œuvre pour les réseaux sociaux comme Facebook] (https://www.theguardian.com/news/2017/may/22/facebook-moderator-guidelines -extreme-content-analysis), dont [les propres politiques concernant la race et les systèmes de croyance néo-nazis] (https://www.engadget.com/2017-05-26-the-facebook-president-and-zucks-racist- rulebook.html) sont profondément biaisés contre les sociétés qui luttent pour l'égalité, la non-discrimination et les droits de l'homme.
Il est probable que ces termes soient notés pour une toxicité élevée car ce sont les termes les plus couramment utilisés dans les attaques contre des groupes ciblés. Mais les cas mentionnés dans cet article sont des échecs évidents. Cela montre que les efforts des prétendus meilleurs et des plus brillants de la Silicon Valley ont orienté l'IA destinée à "améliorer la conversation" dans le sens des [distributeurs de savon racistes] (https://mic.com/articles/124899/the-reason-this-racist -soap-dispenser-doesn-t-work-on-black-skin#.DNNCdjlQq) et un logiciel de reconnaissance faciale qui [ne peut pas voir les personnes noires](https://www.recode.net/2017/1/18/ 14304964/data-facial-recognition-trouble-recognishing-black-white-faces-diversity).
En ce qui concerne la fonctionnalité Wired, les données semblent erronées d'où nous sommes assis. Cela peut simplement signifier qu'il y a plus de femmes noires homosexuelles et de travailleuses du sexe là-bas qui sont d'accord pour en parler que Sharpsburg, en Géorgie, commentateurs. Déprimant, la "carte des trolls Internet" pourrait n'être qu'une carte de personnes noires discutant de questions de race, d'identité LGBTQ et de soins de santé.
Ce qui, nous l'espérons, est le contraire de ce que tout le monde voulait.