Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar

Problema 48

Incidentes Asociados

Incidente 138 Reportes
High-Toxicity Assessed on Text Involving Women and Minority Groups

Loading...
El nuevo algoritmo de incitación al odio de Google tiene un problema con los judíos
tabletmag.com · 2017

¿No odias lo viles que son algunas personas en Internet? ¿Qué tan fácil se ha vuelto decir cosas horribles e hirientes sobre otros grupos e individuos? ¿Cómo se está utilizando esta herramienta que se suponía que debía difundir el conocimiento, la amistad y el buen ánimo para promulgar el odio? Ya no tienes que preocuparte: Google está en ello.

A principios de este año, los señores supremos de Silicon Valley introdujeron Perspective API, este último en lenguaje nerd para Application Program Interface, o un conjunto de herramientas para crear software. La idea detrás de esto es simple: debido a que es imposible que un editor en línea controle manualmente todos los comentarios que se dejan en su sitio web, Perspective utilizará el aprendizaje automático avanzado para ayudar a los moderadores a rastrear los comentarios que probablemente sean "tóxicos". Así es como la empresa lo describe: "La API utiliza modelos de aprendizaje automático para calificar el impacto percibido que un comentario podría tener en una conversación".

Ese es un sentimiento extraño. ¿Cómo se mide el impacto percibido de una conversación? ¿Y cómo puedes saber si una conversación es buena o mala? Las respuestas, en el caso de Perspective, son simples: el aprendizaje automático funciona dando a las computadoras acceso a vastas bases de datos y permitiéndoles descubrir los patrones probables. Si una máquina leyera todos los libros de cocina publicados en inglés en los últimos 100 años, digamos, podría decirnos cosas interesantes sobre cómo cocinamos, como el hecho peculiar de que cuando servimos arroz es muy probable que sirvamos frijoles también. ¿Qué pueden decirnos las máquinas sobre la forma en que conversamos y sobre lo que podemos encontrar ofensivo? Eso, por supuesto, depende de qué bases de datos deje que las máquinas aprendan. En el caso de Google, las máquinas aprendieron las secciones de comentarios de The New York Times, The Economist y The Guardian.

¿Qué aprendieron las máquinas? Sólo hay una forma de averiguarlo. Le pedí a Perspective que calificara el siguiente sentimiento: “Los judíos controlan los bancos y los medios”. Esta vieja castaña, informó Perspective, tenía un 10 por ciento de posibilidades de ser percibida como tóxica.

Tal vez Perspective simplemente se relajó acerca de las generalizaciones radicales que se han utilizado para manchar a grupos étnicos y religiosos enteros, pensé. Tal vez el matiz de los estereotipos dañinos se perdió en los algoritmos de Google. Lo intenté de nuevo, esta vez con otro grupo de personas, escribiendo “Muchos terroristas son islamistas radicales”. El comentario, me informó Perspective, tenía un 92 por ciento de probabilidades de ser visto como tóxico.

¿Qué pasa con las declaraciones directas de los hechos? Busqué las noticias, que, lamentablemente, han sido muy sombrías últimamente, y escribí: "Tres israelíes fueron asesinados anoche por un terrorista palestino que empuñaba un cuchillo y gritaba 'Alá hu Akbar'". Esto también era probable en un 92 por ciento. ser visto como tóxico.

Usted también puede conectarse y divertirse, pero los resultados no deberían sorprenderlo. Las máquinas aprenden de lo que leen, y cuando lo que leen son The Guardian y The Times, también heredarán los sesgos inherentes de estas publicaciones. Como la mayoría de las personas que leen el Paper of Record, la máquina también ha llegado a creer que las declaraciones sobre el asesinato de judíos son controvertidas, que abordar el islamismo radical está prohibido y que el antisemitismo casual es totalmente perdonable. El mismo término, toxicidad, debería haber sido suficiente como un regalo: los únicos grupos que hablan de toxicidad (ver debajo: masculinidad tóxica) son aquellos en la izquierda regresiva que aplican espeluznantemente las metáforas del daño físico para censurar el discurso, no celebrar o promocionarlo. Ninguna palabra es tóxica, pero la idea de que ahora tenemos un algoritmo que replica, amplifica y automatiza la intolerancia de la izquierda antijudía bien puede serlo.

Liel Leibovitz es escritora sénior de Tablet Magazine y presentadora del podcast Unorthodox.

Leer la Fuente

Investigación

  • Definición de un “Incidente de IA”
  • Definición de una “Respuesta a incidentes de IA”
  • Hoja de ruta de la base de datos
  • Trabajo relacionado
  • Descargar Base de Datos Completa

Proyecto y Comunidad

  • Acerca de
  • Contactar y Seguir
  • Aplicaciones y resúmenes
  • Guía del editor

Incidencias

  • Todos los incidentes en forma de lista
  • Incidentes marcados
  • Cola de envío
  • Vista de clasificaciones
  • Taxonomías

2024 - AI Incident Database

  • Condiciones de uso
  • Política de privacidad
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd