Incidents associés
Alors que la politique aux États-Unis et en Europe est devenue de plus en plus source de division, les écrivains d'opinion et les politiciens ont poussé à plus de "civilité" dans nos débats, y compris en ligne. Au milieu de cette poussée, un nouvel outil de Jigsaw de Google utilise l'apprentissage automatique pour classer ce qu'il appelle la "toxicité" d'une phrase ou d'une expression donnée. Mais comme Dave Gershgorn l'a rapporté pour Quartz, l'outil a été critiqué par les chercheurs pour son incapacité à identifier certaines phrases haineuses, tout en catégorisant les combinaisons de mots anodines comme toxiques.
Le projet, Perspective, est une API qui a été formée en demandant aux gens d'évaluer les commentaires en ligne sur une échelle allant de "très toxique" à "très sain", "toxique" étant défini comme un "commentaire grossier, irrespectueux ou déraisonnable qui est susceptibles de vous faire quitter une discussion." Cela fait partie d'un effort croissant pour assainir les conversations en ligne, qui reflète une certaine culture au sein de la Silicon Valley et des États-Unis dans leur ensemble : la culture de la civilité.
L'outil semble classer le blasphème comme hautement toxique, tandis que les déclarations profondément nuisibles sont souvent considérées comme sûres
Si nous étions simplement gentils les uns envers les autres dans nos interactions, selon l'argument, nous serions moins divisés. Pourtant, cet argument ne tient pas compte de la manière dont la politesse et le charme ont été utilisés tout au long de l'histoire pour déguiser des discours haineux, y compris en ligne.
Perspective a été formé sur du texte provenant de commentaires en ligne réels. En tant que tel, son interprétation de certains termes est limitée, car "va te faire foutre" est plus courant dans les sections de commentaires que "fuck yeah", l'outil perçoit le mot "fuck" comme intrinsèquement toxique. Autre exemple : tapez "les femmes ne sont pas aussi intelligentes que les hommes" dans la zone de texte du compteur, et la phrase est "4 % susceptibles d'être perçues comme 'toxiques'". Un certain nombre d'autres phrases très problématiques - de « les hommes sont biologiquement supérieurs aux femmes » à « le génocide, c'est bien » - sont peu toxiques. Pendant ce temps, "va te faire foutre" arrive à 100%.
Il s'agit d'un problème algorithmique. Les algorithmes apprennent des données qu'ils reçoivent, construisant un modèle du monde basé sur ces données. L'intelligence artificielle reflète les valeurs de ses créateurs, et peut donc être discriminatoire ou biaisée, tout comme les êtres humains qui la programment et la forment.
Alors, que dit le modèle de données de l'outil Perspective sur ses créateurs ? Sur la base des exemples que j'ai testés, l'outil semble classer le blasphème comme hautement toxique, tandis que les déclarations profondément nuisibles - lorsqu'elles sont formulées poliment, c'est-à-dire - sont souvent considérées comme sûres. La phrase "C'est génial" arrive à 3% de toxicité, mais ajoutez "putain" (comme dans les paroles de Macklemore "C'est putain de génial") et la phrase dégénère à 98% de toxicité.
Dans un e-mail, un porte-parole de Jigsaw a qualifié Perspective de "travail en cours" et a noté que des faux positifs sont à prévoir à mesure que son apprentissage automatique s'améliore.
Ce problème n'est pas propre à Google ; Alors que les entreprises de la Silicon Valley cherchent de plus en plus à modérer le discours sur leurs plateformes en ligne, leur définition du discours « nuisible » ou « toxique » est importante.
Civilité über alles
L'argument en faveur de la civilité est le suivant : si nous n'étions que civils les uns envers les autres, le monde serait un meilleur endroit. Si seulement nous nous adressions poliment, nous pourrions résoudre nos désaccords. Cela a conduit à l'attente que tout discours - tant qu'il est déguisé en politesse - devrait être accepté et débattu, peu importe à quel point l'idée derrière les mots est sectaire ou nuisible.
Voici à quoi cela ressemble dans la pratique : un employé de Google publie une note remplie d'idées sexistes, mais parce qu'il utilise un langage poli, les femmes sont censées débattre des idées qu'il contient. Sur Twitter, des militants juifs bombardés de messages antisémites sont suspendus pour avoir répondu par des propos du type "va te faire foutre". Sur Facebook, une mère noire publiant des copies des menaces qu'elle a reçues de racistes est suspendue en raison du langage utilisé dans les menaces republiées.
Dans cette rubrique, le contre-discours - longtemps considéré comme un concept important pour répondre à la haine sans censure - est puni pour avoir simplement contenu des blasphèmes.
Lire la suite : À l'intérieur de la tentative de Wikipédia d'utiliser l'intelligence artificielle pour lutter contre le harcèlement
C'est la culture des modérateurs des plates-formes communautaires centralisées, du puissant Facebook aux beaucoup plus petits Hacker News, où "s'il vous plaît soyez civil" est un refrain régulier. Vikas Gorur, un programmeur et utilisateur de Hacker News, m'a dit que sur la plateforme "la moindre attaque personnelle ("tu es stupide") est un péché, alors qu'un sous-thread de plus de 100 sur "l'esclavage était-il vraiment si mauvais ?" ou 'le harcèlement sexuel existe-t-il ?' vont parfaitement bien."
La liberté d'expression, a déclaré Gorur, "est la vertu cardinale, peu importe à quel point ce discours est impitoyable".
De Washington à la Vallée
Cette attitude n'est pas seulement un phénomène dans la Silicon Valley, mais dans la société américaine dans son ensemble. Au cours des huit derniers mois, depuis que les États-Unis ont élu une star de la télé-réalité à leur plus haute fonction, les opposants au président ont régulièrement été fustigés pour leur incivilité, alors même que leurs droits