Incidents associés
Ne détestez-vous pas à quel point certaines personnes sont viles sur Internet ? À quel point est-il devenu facile de dire des choses horribles et blessantes sur d'autres groupes et individus ? Comment cet outil censé répandre la connaissance, l'amitié et la bonne humeur est-il utilisé pour propager la haine ? Plus besoin de s'inquiéter : Google s'en occupe.
Plus tôt cette année, les seigneurs de la Silicon Valley ont introduit l'API Perspective, cette dernière étant un langage nerd pour l'interface de programme d'application, ou un ensemble d'outils pour créer des logiciels. L'idée sous-jacente est simple : comme il est impossible pour un éditeur en ligne de surveiller manuellement tous les commentaires laissés sur son site Web, Perspective utilisera un apprentissage automatique avancé pour aider les modérateurs à traquer les commentaires susceptibles d'être "toxiques". Voici comment l'entreprise le décrit : "L'API utilise des modèles d'apprentissage automatique pour évaluer l'impact perçu qu'un commentaire pourrait avoir sur une conversation."
C'est un sentiment étrange. Comment mesurer l'impact perçu d'une conversation ? Et comment savoir si une conversation est bonne ou mauvaise ? Les réponses, dans le cas de Perspective, sont simples : l'apprentissage automatique fonctionne en donnant aux ordinateurs l'accès à de vastes bases de données et en leur permettant de comprendre les modèles probables. Si une machine lisait tous les livres de cuisine publiés en anglais au cours des 100 dernières années, disons, elle serait capable de nous dire des choses intéressantes sur la façon dont nous cuisinons, comme le fait étrange que lorsque nous servons du riz, nous sommes très susceptibles de servir les haricots aussi. Que peuvent nous dire les machines sur la façon dont nous conversons et sur ce que nous pouvons trouver offensant ? Cela dépend bien sûr des bases de données que vous laissez les machines apprendre. Dans le cas de Google, les machines ont appris les sections de commentaires du New York Times, de l'Economist et du Guardian.
Qu'ont appris les machines ? Un seul moyen de le savoir. J'ai demandé à Perspective d'évaluer le sentiment suivant : "Les Juifs contrôlent les banques et les médias". Ce vieux châtaignier, a rapporté Perspective, avait 10% de chances d'être perçu comme toxique.
Peut-être que Perspective était juste détendu à propos des généralisations radicales qui ont été utilisées pour souiller des groupes ethniques et religieux entiers, pensai-je. Peut-être que la nuance des stéréotypes nuisibles a été perdue dans les algorithmes de Google. J'ai réessayé, cette fois avec un autre groupe de personnes, en tapant "Beaucoup de terroristes sont des islamistes radicaux". Le commentaire, m'a informé Perspective, était susceptible d'être considéré comme toxique à 92%.
Qu'en est-il des déclarations simples de faits ? J'ai pris la nouvelle, qui, malheureusement, a été très sombre ces derniers temps, et j'ai écrit : "Trois Israéliens ont été assassinés la nuit dernière par un terroriste palestinien armé d'un couteau qui a crié 'Allah hu Akbar'". être considéré comme toxique.
Vous aussi, vous pouvez aller en ligne et vous amuser, mais les résultats ne devraient pas vous surprendre. Les machines apprennent de ce qu'elles lisent, et quand ce qu'elles lisent sont le Guardian et le Times, elles vont également hériter des préjugés inhérents à ces publications. Comme la plupart des gens qui lisent le Paper of Record, la machine en est venue à croire que les déclarations sur le massacre des Juifs sont controversées, que s'attaquer à l'islamisme radical est verboten et que l'antisémitisme occasionnel est tout à fait pardonnable. Le terme lui-même, toxicité, aurait dû être un révélateur suffisant : les seuls groupes qui parlent de toxicité - voir sous : masculinité toxique - sont ceux de la gauche régressive qui appliquent de manière effrayante les métaphores de la violence physique pour censurer le discours, sans célébrer ni promouvoir. Aucun mot n'est toxique, mais l'idée que nous avons maintenant un algorithme reproduisant, amplifiant et automatisant le sectarisme de la gauche anti-juive pourrait très bien l'être.
Liel Leibovitz est rédacteur principal pour Tablet Magazine et animateur du podcast Unorthodox.