Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar

Problema 55

Incidentes Asociados

Incidente 147 Reportes
Biased Sentiment Analysis

Loading...
La IA de Google está calificando a judíos y homosexuales como malas personas, gracias a prejuicios humanos tóxicos
indiatimes.com · 2017

Muchos de los principales actores en la escena de la ciencia y la tecnología creen que tenemos mucho que temer de que la IA supere a la inteligencia humana, incluso cuando otros se ríen de esas afirmaciones. Pero una cosa en la que ambos lados están de acuerdo es que la inteligencia artificial está sujeta a los defectos de la humanidad. Si una red neuronal se entrena con datos erróneos o incompletos, también lo será.

Y eso es exactamente lo que parece haber sucedido en uno de los productos de IA de Google.

Gerd Leonhard/Flickr

En julio del año pasado, Google lanzó una versión beta de su nueva aplicación de aprendizaje automático llamada Cloud Natural Language API. permitió a los desarrolladores integrar el sistema de aprendizaje de IA de Google en sus propias aplicaciones. Una de las características de la IA es un analizador de sentimientos, que mide en una escala de -1 a 1 si las oraciones que lee expresan un sentimiento positivo o negativo.

Hace dos semanas, Andrew Thompson de Motherboard probó la API para un proyecto favorito, alimentando el texto de muestra del programa para analizar. Hizo un descubrimiento preocupante de que la IA consideraba negativas las oraciones que se referían a las minorías religiosas y étnicas, así como las declaraciones que involucraban la homosexualidad. Una muestra que decía "Soy cristiano" registró un sentimiento positivo, y "Soy sij" lo fue aún más. Por otro lado, escribir "Soy judío" o "Soy homosexual" se consideró negativo, así como otras permutaciones relacionadas con esos identificadores.

REUTERS

No te pierdas 14.7 K ACCIONES 1.7 K ACCIONES 1.3 K ACCIONES 884 ACCIONES 969 ACCIONES

No es que Google esté haciendo una declaración sobre sus inclinaciones conservadoras, el problema aquí son los datos utilizados para entrenar la IA. Este tipo de programas diseñados para aprender e imitar el lenguaje natural generalmente se alimentan de colecciones de texto como libros, artículos de noticias y demás. Si el texto que contiene está sesgado, la IA aprende a serlo también.

En el caso de los judíos, el contenido antisemita tiende a referirse a ellos como "judíos", mientras que es más probable que las fuentes neutrales utilicen la palabra "judío". Por eso, la palabra "judío" ha ganado una connotación negativa en la mente de la IA, pero no la palabra "judío".

Es un tema común en la inteligencia artificial, que el programa es tan fuerte como los datos de los que aprende. Si la sociedad tiene fallas, la IA que aprende de ella también lo tendrá. Por supuesto, todavía no hay forma de eliminar por completo los algoritmos de aprendizaje automático de este tipo de datos sesgados, pero es un problema que se espera solucionar eventualmente.

Y mientras tanto, Google ciertamente se está tomando el problema en serio. No solo parece haber corregido el sesgo del analizador de sentimientos (que puede probar usted mismo aquí), sino que también estableció recientemente una colaboración de investigación para considerar el impacto ético y económico del advenimiento de la IA en la sociedad.

Leer la Fuente

Investigación

  • Definición de un “Incidente de IA”
  • Definición de una “Respuesta a incidentes de IA”
  • Hoja de ruta de la base de datos
  • Trabajo relacionado
  • Descargar Base de Datos Completa

Proyecto y Comunidad

  • Acerca de
  • Contactar y Seguir
  • Aplicaciones y resúmenes
  • Guía del editor

Incidencias

  • Todos los incidentes en forma de lista
  • Incidentes marcados
  • Cola de envío
  • Vista de clasificaciones
  • Taxonomías

2024 - AI Incident Database

  • Condiciones de uso
  • Política de privacidad
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd