Incidentes Asociados
La API subyacente utilizada para determinar la "toxicidad" califica frases como "Soy una mujer negra gay" con un 87 por ciento de toxicidad, y frases como "Soy un hombre" como la menos tóxica. La API, llamada Perspective, está hecha por Alphabet de Google dentro de su incubadora Jigsaw.
Cuando se le solicitó un comentario, un portavoz de Jigsaw le dijo a Engadget: "Perspective ofrece a los desarrolladores y editores una herramienta para ayudarlos a detectar la toxicidad en línea en un esfuerzo por respaldar mejores discusiones". Agregaron: "La perspectiva aún es un trabajo en progreso, y esperamos encontrar falsos positivos a medida que mejora el aprendizaje automático de la herramienta".
Husmear con el motor detrás de los datos de Wired reveló algunos resultados desagradables, como descubrió la bibliotecaria de Vermont Jessamyn West cuando leyó el artículo y probó Perspective para ver exactamente qué hace que un comentario, o un comentarista, se perciba como tóxico (según Alphabet, al menos ).
Es extraño preguntarse si Wired no le dio una vuelta a Perspective para ver qué hacía que las personas detrás de su mapa troll fueran "tóxicas". Preguntándome exactamente eso, decidí probar una variedad de comentarios para ver cómo se comparan los resultados con los de West. Me esforcé por representar a las personas que veo más censuradas en las redes sociales y las opiniones del día.
Mi experiencia al escribir "Soy una mujer trans negra con VIH" obtuvo un rango de toxicidad del 77 por ciento. "Soy un trabajador sexual negro" fue 89 por ciento tóxico, mientras que "Soy un actor porno" obtuvo un puntaje de 80. Cuando escribí "La gente morirá si matan a Obamacare", la oración obtuvo un puntaje de toxicidad del 95 por ciento.
El artículo de Wired analizó 92 millones de comentarios de Disqus "durante un período de 16 meses, escritos por casi 2 millones de autores en más de 7000 foros". No miraron los sitios que no utilizan el software de gestión de comentarios (por lo que no se incluyeron Facebook ni Twitter).
La pieza explicó:
Para determinar ampliamente qué es y qué no es tóxico, Disqus utiliza Perspective API, un software de la división Jigsaw de Alphabet que se conecta a su sistema. El equipo de Perspective hizo que personas reales entrenaran la API para calificar los comentarios. La modelo define un comentario tóxico como "un comentario grosero, irrespetuoso o irrazonable que probablemente lo haga abandonar una discusión".
Discriminación por algoritmo
En un mundo en línea donde la moderación, la prohibición y la censura se dejan en gran medida a la automatización como la API de Perspective, descubrir cómo se miden estas cosas es fundamental para todos los involucrados. "Mirando esto, la palabra 'tóxico' es un término técnico muy específico para la herramienta, esta herramienta Perspective que está hecha por esta compañía Alphabet, a quien quizás conozcan como Google, que está tratando de traer [inteligencia artificial] a comentar, West le dijo a la Radio Pública de Vermont.
Probé 14 oraciones para "toxicidad percibida" usando Perspectivas. Menos tóxico: soy hombre. Lo más tóxico: soy una mujer negra gay. Vamos pic.twitter.com/M4TF9uYtzE — jessamyn west (@jessamyn) 24 de agosto de 2017
Perspective se presenta como una forma de mejorar las conversaciones en línea, postulando que la "amenaza de abuso y acoso en línea significa que muchas personas dejan de expresarse y dejan de buscar opiniones diferentes". Es uno de los muchos proyectos de Jigsaw para "hacer que el mundo sea más seguro".
Jigsaw trabajó con The New York Times y Wikipedia para desarrollar Perspective. El NYT puso su archivo de comentarios a disposición de Jigsaw "para ayudar a desarrollar el algoritmo de aprendizaje automático que ejecuta Perspective". Wikipedia contribuyó con "160.000 anotaciones etiquetadas por humanos basadas en pedir a 5000 trabajadores de la multitud que calificaran los comentarios de Wikipedia según su toxicidad... Cada comentario fue calificado por 10 trabajadores de la multitud".
Un artículo de febrero sobre Perspective detalló el proceso de aprendizaje automático entrenado por humanos detrás de lo que quiere convertirse en la herramienta de medición mundial para comentarios y comentaristas dañinos.
"En este caso, Jigsaw hizo que un equipo revisara cientos de miles de comentarios para identificar los tipos de comentarios que podrían disuadir a las personas de una conversación", escribió el NYT. "Con base en esos datos, Perspective proporcionó una puntuación de cero a 100 sobre cuán similares son los nuevos comentarios a los identificados como tóxicos".
Los resultados de West escribiendo comentarios en Perspective fueron sorprendentemente discriminatorios. Identificarse como negro y/o gay se consideró tóxico. También lo probó con discapacidades visibles e invisibles, como el uso de silla de ruedas y la sordera, y la forma más tóxica de identificarse en una conversación resultó ser decir "soy una mujer sorda".
Probándolo con algunas discapacidades visibles/invisibles. La división hombre/mujer es preocupante. https://t.co/lEs9prSPhb pic.twitter.com/6zVb8v8b4O— jessamyn west (@jessamyn) 26 de agosto de 2017
Cuando se le enseña al algoritmo a ser racista, sexista y capaz (entre otras cosas), conduce al silenciamiento y la censura de poblaciones enteras. El problema es que cuando estos sistemas están funcionando, las personas silenciadas y prohibidas desaparecen sin dejar rastro. La discriminación por algoritmo ocurre en el vacío.
Solo podemos imaginar lo que subyace al sistema automatizado de control de comentarios en Facebook. En agosto, Mary Canty Merrill, psicóloga que adv